大概流程图:
主要就是一下四个步骤:
(1)安装和配置linux
(2)安装和配置JDK
(3)安装和配置ssh
(4)安装和配置hadoop
下面是对上面的四个步骤进行详细描述:
(1)安装和配置linux
本集群使用了五台装有ubuntu10.04版本的机器,其中一台作为 master节点,其余四台作为slave节点。
1.为每台机器建立用户,用户名为hadoop 密码:hadoop(每台机器都必须有这个相同的用户名和密码,必须建立新的用户,不能使用root用户),权限最好是administrator
2.为每台机器配置主机名:主要就是修改 /etc/hostname 文件
五台机器分别修改为:
master slave1 slave2 slave3 slave4
修改完后注销或重启,是修改生效。
3.为每台机器位置ip地址:
Master :192.168.1.11
Slave1:192.168.1.12
Slave2:192.168.1.13
Slave3:192.168.1.14
Slave4:192.168.1.15
使用ifcongfig命令检查是否修改成功
4.修改每台机器的/etc/hosts文件,目的是为了能够使用主机名来寻找其他节点
在/etc/hosts 文件的首部添加如下信息:
Master 192.168.1.11
Slave1 192.168.1.12
Slave2 192.168.1.13
Slave3 192.168.1.14
Slave4 192.168.1.15
使用ping +主机名 来验证个主机间的互联情况。
(2)安装和配置JDK
首先去官方网站下载jdk,这里以jdk1.6.0_32为例,先建立/usr/java目录,将下载好的jdk拷贝到 这个目录下。在终端中运行这个jdk ,自动安装。
配置java环境变量:
主要修改/etc/profile文件如下:
在umask 022之前
#java environment
export JAVA_HOME=/usr/java/jdk1.6.0_32export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$JAVA_HOME/bin
(3)安装和配置ssh
用sudo apt-get install ssh来为每台机器都安装ssh
可以使用 which ssh 和which sshd 和which ssh-keygen 来验证 ssh是否安装成功。
现在可以使用 ssh 主机名 这个命令来登陆其他主机,这时需要输入密码。
由于hadoop需要master无密码ssh登陆到其他机器slave机器,所以需要配置无密码登陆,步骤如下:
1. 在master机器上用 ssh-kegen -t rsa 来生成私钥和公钥文件 .
这两个文件生成之后分别在:/home/hadoop/.ssh/id_rsa和 /home/hadoop/.ssh/id_rsa.pub,可以去查看两个文件,尤其是公钥文件。
2. 使用scp命令将master上的id_rsa.pub 拷贝到其他每个slave机器上,命令如下:
Scp ~/.ssh/id_rsa.pub hadoop@slave1:~/.ssh/master_key(拷贝到slave1这台主机上,其他类似)
3.在每个slave机器上的hadoop用户的家目录下重命名master_key的名字为:authorized_keys 然后修改.ssh目录的权限为700 和修改.ssh/authorized_keys 的权限为600(使用chmod命令)
4.在master上使用 ssh 主机名 登陆其他slave机器,看是否实现了无密码登陆。
(4)安装和配置hadoop
从官方网站下载hadoop的安装文件
========================================================================
。。continue