does configuration properties on hdfs-site.xml app

2019-10-20 08:24发布

我最近成立了一个测试环境集群hadoop -One主人和两个奴隶。

主是不是一个数据管理部(尽管某些使用主节点作为主机和从机)。 所以基本上我有2个数据节点。 复制的默认配置是3起初,我并没有改变任何配置conf/hdfs-site.xml 。 我得到的错误could only be replicated to 0 nodes instead of 1 。 然后我改变的配置在conf/hdfs-site.xml在我的两个主从如下:

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

瞧! 一切正常。 我的问题是:这是否配置适用的NameNode或DatNode虽然我改变了我的所有数据节点和NameNodes HDFS-site.xml中。

如果我的理解是正确的,NameNode会分配用于数据节点的块。 所以在复制配置masterNameNode是重要的,可能是不需要的datanodes 。 这个对吗?

我很困惑与不同的XML在Hadoop框架的实际目的:从我了解甚少:

1) core-site.xml -整个框架的配置参数,如在日志文件应该去,什么是文件系统等的默认名称

2) hdfs-site.xml -适用于个人数据节点。 多少复制,在数据管理部的本地文件系统中的数据目录,块等的大小

3) mapred-site.xml -适用于数据节点,并给出配置任务的跟踪。

请更正,如果这是错误的。 这些配置文件没有得到很好的教程我有解释。 所以它来自我的样子到缺省值,这些文件。

Answer 1:

这是我的理解,我可能是错的。

{HDFS-site.xml中} - 是为HDFS(Hadoop分布式文件系统){mapred-site.xml中}的性质 - 是为MapReduce的{芯的site.xml}的性质 - 为其它性质,这触摸既HDFS和MapReduce



Answer 2:

这通常是由空间不足引起的。

请检查您的群集总容量和使用,使用剩余比例

  hdfs dfsadmin -report

还要检查dfs.datanode.du.reserved在HDFS-site.xml中,如果该值是比你的能力仍然较大

寻找其他可能的原因解释这里



文章来源: does configuration properties on hdfs-site.xml applies to NameNode in hadoop?