Hadoop的环境变量(Hadoop environment variables)

2019-10-29 02:33发布

我试图调试一些问题,我的Mac上的单一节点的Hadoop集群。 在所有的设置文档,它说补充:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

删除此错误:

Unable to load realm info from SCDynamicStore

这工作,但似乎只为STDOUT工作。 当我检查我的Hadoop日志目录下的“工作 - ### / atempt _ ### /标准错误”的错误仍然存​​在:

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore

我在加载RVM红宝石到Hadoop的环境中使用Hadoop流执行Ruby代码很大的困难。 stdout是打印该RVM被加载并使用正确的Ruby /宝石,但我STDERR日志:

env: ruby_noexec_wrapper: No such file or directory

有没有一些方法来找出Hadoop的实际上是用什么样的路径来执行工作,或者如果它在这里援引一些其他的环境?

进一步的背景:

我使用的是自制通过Hadoop的安装1.1.1。 这是设置在非常类似的方式“ INSTALLING HADOOP在Mac OSX上LION ”和调试的实现悟空3.0.0的包装用于执行Hadoop作业。

Answer 1:

要回答我的问题,以便其他的可以找到它。

我似乎是加载RVM在我的Hadoop-ENV但我必须将它添加后没有重新启动群集。 为了确保你的红宝石和gemsets被加载,添加标准RVM子句hadoop-env.sh。 就像是:

[[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm"

并确保重新启动群集所以它捡起来。 奇怪的是,无需重新启动,我的日志将表明它加载RVM但它显然没有执行该红宝石和它的各个gemfiles。 重新启动后,它的工作。



文章来源: Hadoop environment variables