关于 apache pig:将 Pig 与 Hadoop 一起使用时出现”Failed to create DataStorage”错误

"Failed to create DataStorage" error when using Pig with Hadoop

我一直在尝试让 Pig 0.9.0 使用 Apache Hadoop 0.20.203.0 运行。我在谷歌和邮件列表中查看了高低,甚至这个问题:cant run pig with single node hadoop server ,但我仍然无法让 Pig shell Grunt 在集群设置中运行(我可以运行当然,在本地模式下提示很好)。

我已经尝试了给出的解决方案——在没有 hadoop 的情况下重新编译,将 hadoop 库和 pig-withouthadoop.jar 添加到我的 PIG_CLASSPATH 变量中......没有任何效果。我只是得到错误

2011-08-02 10:56:00,709 [main] ERROR org.apache.pig.Main - ERROR 2999: Unexpected internal error. Failed to create DataStorage

不完全确定从这里去哪里。我在 Apache Pig 开发网站或其他东西(他们的版本控制网站或其他)上看到了一些关于此的讨论,并且有一些建议的脚本,但我无法弄清楚他的package脚本在做什么或如何使用它: https://issues.apache.org/jira/browse/PIG-2183。也许解决方案就在那个链接里?

我正在运行单节点 hadoop 设置(不是本地模式)...Hadoop 工作正常。


检查 https://cwiki.apache.org/confluence/display/PIG/FAQ#FAQ-Q:WhatshallIdoifIsaw"FailedtocreateDataStorage"?


通常是库问题。检查您是否已将所有依赖项添加到 pig 文件中。目前很难指向正确的。