星火单机模式:工作不正常Cloudera的开始(Spark Standalone Mode: Wor

2019-10-19 13:13发布

我是新来的火花,利用安装在了Cloudera Manager中提供的包裹火花之后。

我已经配置文件如从Cloudera的企业下面的链接:

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.8.1/Cloudera-Manager-Installation-Guide/cmig_spark_installation_standalone.html

这个设置后,我已经运行/opt/cloudera/parcels/SPARK/lib/spark/sbin/start-all.sh开始在火花的所有节点。 但正如我下面指定的错误我不能运行辅助节点。

[root@localhost sbin]# sh start-all.sh
org.apache.spark.deploy.master.Master running as process 32405. Stop it first.
root@localhost.localdomain's password: 
localhost.localdomain: starting org.apache.spark.deploy.worker.Worker, logging to /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain: failed to launch org.apache.spark.deploy.worker.Worker:
localhost.localdomain:      at java.lang.ClassLoader.loadClass(libgcj.so.10)
localhost.localdomain:      at gnu.java.lang.MainThread.run(libgcj.so.10)
localhost.localdomain: full log in /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain:starting org.apac

当我运行JPS命令,我得到:

23367 Jps
28053 QuorumPeerMain
28218 SecondaryNameNode
32405 Master
28148 DataNode
7852 Main
28159 NameNode

我不能正常运行的工作节点。 其实我想安装一个独立的火花,其中主设备和工人的工作在一台机器上。 在火花目录的奴隶的文件,我给出的地址为“localhost.localdomin”这是我的主机名。 我不知道该设置文件。 请任何一个云帮我这个安装过程。 其实我不能运行辅助节点。 但我可以启动主节点。

感谢和问候,BIPS

Answer 1:

请注意以下错误信息:

localhost.localdomain:      at java.lang.ClassLoader.loadClass(libgcj.so.10)

当我安装并启动星火主/ CentOS上工人6.2 x86_64的确保libgcj.x86_64libgcj.i686已经安装在我的服务器上后,我遇到了同样的错误,我终于解决了这个问题。 下面是我的解决办法,希望它可以帮助你。

它看起来好像你的JAVA_HOME环境参数没有设置正确。
也许,你的JAVA_HOME链接到系统嵌入式Java,如Java版本“1.5.0”。
星火需要Java版本> = 1.6.0。 如果你正在使用Java 1.5.0启动星火,你会看到这个错误信息。
尝试导出JAVA_HOME =“你的Java主路径”,然后重新启动的火花。



文章来源: Spark Standalone Mode: Worker not starting properly in cloudera