我最近成立了一个测试环境集群hadoop
-One主人和两个奴隶。
主是不是一个数据管理部(尽管某些使用主节点作为主机和从机)。 所以基本上我有2个数据节点。 复制的默认配置是3起初,我并没有改变任何配置conf/hdfs-site.xml
。 我得到的错误could only be replicated to 0 nodes instead of 1
。 然后我改变的配置在conf/hdfs-site.xml
在我的两个主从如下:
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
瞧! 一切正常。 我的问题是:这是否配置适用的NameNode或DatNode虽然我改变了我的所有数据节点和NameNodes HDFS-site.xml中。
如果我的理解是正确的,NameNode会分配用于数据节点的块。 所以在复制配置master
或NameNode
是重要的,可能是不需要的datanodes
。 这个对吗?
我很困惑与不同的XML在Hadoop框架的实际目的:从我了解甚少:
1) core-site.xml
-整个框架的配置参数,如在日志文件应该去,什么是文件系统等的默认名称
2) hdfs-site.xml
-适用于个人数据节点。 多少复制,在数据管理部的本地文件系统中的数据目录,块等的大小
3) mapred-site.xml
-适用于数据节点,并给出配置任务的跟踪。
请更正,如果这是错误的。 这些配置文件没有得到很好的教程我有解释。 所以它来自我的样子到缺省值,这些文件。