我的目标是从HDFS到本地文件系统中下载文件。 我使用的客户端,连接到远程HDFS的NameNode。 hadoop fs -get hdfs://sourceHDFS:8020/path_to_file/file /path_to_save_file
而且我得到了一个例外。
15/03/17 12:18:49 WARN client.ShortCircuitCache: ShortCircuitCache(0x11bbad83): failed to load 1073754800_BP-703742109-127.0.0.1-1398459391664
15/03/17 12:18:49 WARN hdfs.BlockReaderFactory: I/O error constructing remote block reader.
java.io.IOException: Got error for OP_READ_BLOCK, self=/127.0.0.1:57733, remote=bigdatalite.localdomain/127.0.0.1:50010, for file /user/hive/warehouse/b2_olap_hive.db/dim_deal_log/000000_0, for pool BP-703742109-127.0.0.1-1398459391664 block 1073754800_13977
我的情况的了解。 HDFS客户端连接到的NameNode但NameNode的返回本地数据节点的IP(因为NameNode和DataNode会位于同一台机器)。 而对于远程客户端127.0.0.1
是数据节点的错误ADRESS。
我怎样才能连接到正确的数据节点? 也许我的理解是错误的?
提前致谢