博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop集群搭建
阅读量:5285 次
发布时间:2019-06-14

本文共 1765 字,大约阅读时间需要 5 分钟。

大概流程图:

主要就是一下四个步骤:

(1)安装和配置linux

(2)安装和配置JDK 

(3)安装和配置ssh

(4)安装和配置hadoop

下面是对上面的四个步骤进行详细描述:

(1)安装和配置linux

  本集群使用了五台装有ubuntu10.04版本的机器,其中一台作为  master节点,其余四台作为slave节点。

1.为每台机器建立用户,用户名为hadoop 密码:hadoop(每台机器都必须有这个相同的用户名和密码,必须建立新的用户,不能使用root用户),权限最好是administrator

2.为每台机器配置主机名:主要就是修改 /etc/hostname 文件

五台机器分别修改为:

master  slave1  slave2   slave3   slave4

修改完后注销或重启,是修改生效。

3.为每台机器位置ip地址:

 Master :192.168.1.11

Slave1:192.168.1.12

Slave2:192.168.1.13

 

Slave3:192.168.1.14

Slave4:192.168.1.15

使用ifcongfig命令检查是否修改成功

4.修改每台机器的/etc/hosts文件,目的是为了能够使用主机名来寻找其他节点

/etc/hosts 文件的首部添加如下信息:

Master   192.168.1.11

Slave1   192.168.1.12

Slave2   192.168.1.13

Slave3   192.168.1.14

Slave4   192.168.1.15

使用ping +主机名 来验证个主机间的互联情况。

 (2)安装和配置JDK 

首先去官方网站下载jdk,这里以jdk1.6.0_32为例,先建立/usr/java目录,将下载好的jdk拷贝到 这个目录下。在终端中运行这个jdk ,自动安装。

配置java环境变量:

主要修改/etc/profile文件如下:

在umask 022之前

#java environment

export JAVA_HOME=/usr/java/jdk1.6.0_32
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$JAVA_HOME/bin

 

 (3)安装和配置ssh

   用sudo apt-get install ssh来为每台机器都安装ssh

   可以使用 which  ssh which sshd which ssh-keygen 来验证 ssh是否安装成功。

现在可以使用   ssh 主机名 这个命令来登陆其他主机,这时需要输入密码。

由于hadoop需要master无密码ssh登陆到其他机器slave机器,所以需要配置无密码登陆,步骤如下:

1. master机器上用 ssh-kegen -t rsa 来生成私钥和公钥文件 .

 这两个文件生成之后分别在:/home/hadoop/.ssh/id_rsa和 /home/hadoop/.ssh/id_rsa.pub,可以去查看两个文件,尤其是公钥文件。

 2. 使用scp命令将master上的id_rsa.pub 拷贝到其他每个slave机器上,命令如下:

Scp  ~/.ssh/id_rsa.pub  hadoop@slave1:~/.ssh/master_key(拷贝到slave1这台主机上,其他类似)

3.在每个slave机器上的hadoop用户的家目录下重命名master_key的名字为:authorized_keys 然后修改.ssh目录的权限为700 和修改.ssh/authorized_keys 的权限为600(使用chmod命令)

4.master上使用 ssh 主机名 登陆其他slave机器,看是否实现了无密码登陆。

 (4)安装和配置hadoop

从官方网站下载hadoop的安装文件

========================================================================

。。continue

转载于:https://www.cnblogs.com/Okyuma/archive/2012/06/07/2541117.html

你可能感兴趣的文章
R画柱形图和箱线图
查看>>
结对编程收获
查看>>
QQ模拟自动登录实现
查看>>
Daily Scrum M2 11-15
查看>>
收藏的js处理时间东东
查看>>
layer 的功能
查看>>
Greedy:Graveyard Design(POJ 2100)
查看>>
input输入框只能输入数字的功能
查看>>
Storm 简介
查看>>
第十六周学习进度条
查看>>
Java并发编程:volatile关键字解析zz
查看>>
解决WPF导入图片不显示的问题
查看>>
unity3d--场景切换
查看>>
用itertools.product简化嵌套for循环
查看>>
2018-10-30 浏览器插件-离线英汉词典 0.0.7
查看>>
参考jianli
查看>>
MySQl中的\g和\G
查看>>
rman基础知识理解(一)
查看>>
js事件在不同浏览器之间的差异
查看>>
用Java做一个跳一跳辅助
查看>>