关于python:hadoop流:如何查看应用程序日志?

hadoop streaming: how to see application logs?

我可以看到我的/usr/local/hadoop/logs路径上的所有hadoop日志

但在哪里可以看到应用程序级日志?例如:

MaPbP.Py

1
2
3
4
5
6
import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement

还原剂

1
2
3
4
5
6
import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer -" + line)  
        // -- do some task -- //
        print statement

在哪里可以看到我的应用程序的logging.info或相关的日志语句?我用的是Pythonhadoop-streaming

谢谢你


Hadoop的不受欢迎的标准错误,可以减少的Hadoop /状态图在线网站。你可以只写至标准错误。


输入/输出流使用Hadoop的键/值对的是通过与操作系统之间的mappers reducers,日志信息是书面的一个特定的日志文件来检查的样本代码和Python的日志文件的更多细节。该查询可能也有帮助。