java版本 Hadoop 数据节点DataNode异常

操作系统：CentOS7 64位

Hadoop版本：Hadoop2.7.3

JDK：1.8.0_65

使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。

通过查看DataNode节点日志，报Incompatible clusterIDs异常。java版本（注意如果没有配置hadoop日志路径默认在$HADOOP_INSTALL/logs目录下，也就是安装目录的logs文件夹里，当然可以修改hadoop-env.sh文件中的HADOOP_LOG_DIR，比如加入export HADOOP_LOG_DIR=/var/log/hadoop）。java版本DataNode节点日志文件异常信息如下：

/**************************************************/

2016-09-26 16:38:56,122WARNorg.apache.hadoop.hdfs.server.common.Storage:Failed to add storage directory [DISK]file:/tmp/hadoop-hadoop/dfs/data/

java.io.IOException:Incompatible clusterIDsin/tmp/hadoop-hadoop/dfs/data: namenode clusterID = CID-1ae49a-ff06-4a34-bfa2-4e9d7248855b; datanode clusterID = CID-3ae02e74-742f-4915-92e7-0625fa8afcc5

at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:775)

at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:300)

at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:416)

at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:395)

at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:573)

at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1362)

at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1327)

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/sanxing/article-70844-1.html