分布式部署 Hadoop历史和安装(3)

?????? ?? </property>

5.4 【mapred-site.xml】 在configuration中增加以下内容（其中的hadoop-master为你配置的主机名）：

<property>

?????????????? <name>mapred.job.tracker</name>

?????????????? <value>hadoop-master:9001</value>

?????????????? <description>change your own hostname</description>

?????? </property>

<6>执行命令对Hadoop进行初始格式化：hadoop namenode –format

<7>执行命令启动Hadoop：start-all.sh（一次性启动所有进程）

第二种方式：通过执行如下方式命令单独启动HDFS和MapReduce：start-dfs.sh和start-mapred.sh启动，stop-dfs.sh和stop-mapred.sh关闭；

第三种方式：通过执行如下方式命令分别启动各个进程：

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

hadoop-daemon.sh start secondarynamenode

hadoop-daemon.sh start jobtracker

hadoop-daemon.sh start tasktracker

这种方式的执行命令是hadoop-daemon.sh start [进程名称]，这种启动方式适合于单独增加、删除节点的情况，在安装集群环境的时候会看到。分布式部署

验证：

① 执行jps命令查看java进程信息，如果是start-all.sh则一共显示5个java进程。

②在浏览器中浏览Hadoop，输入URL：hadoop-master:50070和hadoop-master:50030。如果想在宿主机Windows中浏览，可以直接通过ip地址加端口号访问，也可以配置C盘中System32/drivers/etc/中的hosts文件，增加DNS主机名映射，例如：192.168.80.100 hadoop-master。

访问效果如下图：

namenode

jobtracker

<8>NameNode进程没有启动成功？可以从以下几个方面检查：

没有对NameNode进行格式化操作：hadoop namenode –format（PS：多次格式化也会出错，保险操作是先删除/usr/local/hadoop/tmp文件夹再重新格式化）

Hadoop配置文件只复制没修改： 修改四个配置文件需要改的参数

DNS没有设置IP和hostname的绑定：vi /etc/hosts

SSH的免密码登录没有配置成功：重新生成rsa密钥

<9>Hadoop启动过程中出现以下警告？

可以通过以下步凑去除该警告信息：

①首先执行命令查看shell脚本：vi start-all.sh（在bin目录下执行），可以看到如下图所示的脚本

虽然我们看不懂shell脚本的语法，但是可以猜到可能和文件hadoop-config.sh有关，我们再看一下这个文件的源码。分布式部署执行命令：vi hadoop-config.sh（在bin目录下执行），由于该文件特大，我们只截取最后一部分，见下图。

从图中的红色框框中可以看到，脚本判断环境变量HADOOP_HOME和HADOOP_HOME_WARN_SUPPRESS的值，如果前者为空，后者不为空，则显示警告信息“Warning????”。

我们在前面的安装过程中已经配置了HADOOP_HOME这个环境变量，因此，只需要给HADOOP_HOME_WARN_SUPPRESS配置一个值就可以了。所以，执行命令：vi /etc/profile，增加一行内容（值随便设置一个即可，这里设为0）：

export HADOOP_HOME_WARN_SUPPRESS=0

保存退出后执行重新生效命令：source /etc/profile，生效后重新启动hadoop进程则不会提示警告信息了。

?? 至此，一个Hadoop的Master节点的安装配置结束，接下来我们要进行从节点的配置。

————————————————————————————————————————–

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-86249-3.html