分布式部署 Hadoop历史和安装

Hadoop共有三种部署方式：本地模式，伪分布模式及集群模式；本次安装配置以伪分布模式为主，即在一台服务器上运行Hadoop（如果是分布式模式，则首先要配置Master主节点，其次配置Slave从节点）。以下说明如无特殊说明，默认使用root用户登录主节点，进行以下的一系列配置。

安装配置前请先准备好以下软件：

vmware workstation 8.0或以上版本

redhat server 6.x版本或centos 6.x版本

jdk-6u24-linux-xxx.bin

???? hadoop-1.1.2.tar.gz

4.1 设置静态IP地址

命令模式下可以执行setup命令进入设置界面配置静态IP地址；x-window界面下可以右击网络图标配置；

配置完成后执行service network restart重新启动网络服务；

验证：执行命令ifconfig

4.2 修改主机名

<1>修改当前会话中的主机名（这里我的主机名设为hadoop-master），执行命令hostname hadoop-master

<2>修改配置文件中的主机名，执行命令vi /etc/sysconfig/network

验证：重启系统reboot

4.3 DNS绑定

执行命令vi /etc/hosts,增加一行内容，如下（这里我的Master节点IP设置的为192.168.80.100）：

192.168.80.100 hadoop-master

保存后退出

验证：ping hadoop-master

4.4 关闭防火墙及其自动运行

<1>执行关闭防火墙命令：service iptables stop

?????????? 验证：service iptables stauts

<2>执行关闭防火墙自动运行命令：chkconfig iptables off

验证：chkconfig –list | grep iptables

4.5 SSH（Secure Shell）的免密码登录

<1>执行产生密钥命令：ssh-keygen –t rsa，位于用户目录下的.ssh文件中（.ssh为隐藏文件，可以通过ls –a查看）

<2>执行产生命令：cp id_rsa.pub authorized_keys

验证：ssh localhost

4.6 复制JDK和Hadoop-1.1.2.tar.gz至Linux中

<1>使用WinScp或CuteFTP等工具将jdk和hadoop.tar.gz复制到Linux中（假设复制到了Downloads文件夹中）；

<2>执行命令：rm –rf /usr/local/* 删除该文件夹下所有文件

<3>执行命令：cp /root/Downloads/* /usr/local/ 将其复制到/usr/local/文件夹中

4.7 安装JDK

<1>在/usr/local下解压jdk安装文件：./jdk-6u24-linux-i586.bin（如果报权限不足的提示，请先为当前用户对此jdk增加执行权限：chmod u+x jdk-6u24-linux-i586.bin）

<2>重命名解压后的jdk文件夹：mv jdk1.6.0_24 jdk（此步凑非必要，只是建议）

<3>配置Linux环境变量：vi /etc/profile，在其中增加几行：

export JAVA_HOME=/usr/local/jdk

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-86249-1.html