java版本 Hadoop 数据节点DataNode异常(3)

2016-09-26 16:38:58,227WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode

2016-09-26 16:38:58,228 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0

2016-09-26 16:38:58,232 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:

/**************************************************/

日志文件分析如下：

首先日志警告，“Failed to add storage directory [DISK]file:/tmp/hadoop-hadoop/dfs/data/

”添加存储文件失败，失败路劲位于“/tmp/hadoop-hadoop/dfs/data/”。紧接着报Java IO异常“java.io.IOException”，异常信息里显示的是，namenode和datanode的clusterID不一致，这些异常就导致了后面提示初始化失败、DataNode进程退出等异常、警告信息。网上很多其他博主说，这是因为多次对namenode进行format导致的。将namenode和datanode的clusterID和namespaceID修改一致即可。的确，进行了两次format操作，但是修改过后仍然报同样的问题，通过对比”/tmp/hadoop-hadoop/dfs/data/current/VERSION”文件发现VERSION文件里clusterID都是一致的，其他的信息也一致。

由于无法通过直接修改VERSION文件里clusterID、namespaceID解决问题。于是尝试重命名了一下各个数据节点DataNode“/tmp/hadoop-hadoop/dfs/data/”目录下current文件夹，再重新启动hadoop，发现hadoop运行起来了。各个数据节点的DataNode、NodeManager等进程信息正常，查看各个节点的日志，一切显示正常。然后查看了一下“/tmp/hadoop-hadoop/dfs/data/”目录，发现自动创建了一个current目录。

该问题因为多次对namenode进行format，每一次format主节点NameNode产生新的clusterID、namespaceID，于是导致主节点的clusterID、namespaceID与各个子节点DataNode不一致。当format过后再启动hadoop，hadoop尝试创建新的current目录，但是由于已存在current目录，导致创建失败，最终引起DataNode节点的DataNode进程启动失败，从而引起hadoop集群完全启动失败。因此可以通过直接删除数据节点DataNode的current文件夹，进行解决该问题。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/sanxing/article-70844-3.html