当前位置: 游戏平台 > 互联网科技 > 正文

Hadoop 2.2.0的安装配置

时间:2019-11-05 23:44来源:互联网科技
环境介绍 : Hadoop-2.6.0伪分布式单机安装傻瓜教程 根据网上的文章搭建了Hadoop2.2.0的环境,具体内容如下,备用后续自己做参考。 在两台装有CentOS6.4(32位)的服务器上安装Hadoop-2.5.1分

环境介绍

Hadoop-2.6.0伪分布式单机安装傻瓜教程

根据网上的文章搭建了Hadoop 2.2.0的环境,具体内容如下,备用后续自己做参考。

在两台装有CentOS 6.4(32位)的服务器上安装Hadoop-2.5.1分布式集群(2台机器,主要试验用)。

一、安装前的准备,jdk-8u66-linux-x64.tar.gz(建分布式的时候会需要)、hadoop-2.6.0-x64.tar.gz

环境介绍:

1.修改主机名和/etc/hosts文件

二、进入root用户,ifconfig 查看本机ip,牢记本机ip地址;安装伪分布式的时候可以直接输入yum -y install java* 即可自动下载安装并且配置好环境变量,

我使用的是两台笔记本,都使用VMware安装了Fedora 10的系统。

1)修改主机名(非必要)

java -version 查看java是否配置成功;

虚拟机1: IP 192.168.1.105  hostname: cloud001 用户:root

vi /etc/sysconfig/network
HOSTNAME=XXX

但是在最后启动hadoop的时候一定不能忘记修改JAVA_HOME 的具体地址,不然namenode会起不来,由于是直接yum安装的java,所以配置java地址的时候就使JAVA_HOME=/usr(我的用户名是hadoop,按说应该是JAVA_HOME=/hadoop,不知道为什么/usr也能启动namenode和secondarynamenode);

虚拟机2: IP 192.168.1.106  hostname: cloud002 用户:  root

重启后生效。

三、在root用户下输入hostname,查看主机名;hostname master 把主机名改为master,再hostname看是否修改成功,这种修改方式是临时修改主机名,要想永久修改命令为vi /etc/sysconfig/network(我在配伪分布式的时候两个命令都输了,把主机名永久修改为master,但是最后ssh互信就是不成功,然后输入 vi /etc/hosts 在后面尝试加入127.0.0.1 master、或者192.168.197.134  master 都互信不了,就报错是主机名有问题,最后没办法有把主机名改回localhost 才互信成功...不明白为啥建分布式的时候也是改为master,然后在vi /etc/hosts 后加入slave01 和ip的时候能互信成功,而且有的时候是用hostname改的,但下次启动虚拟机的时候仍然有效...)

 

2)/etc/hosts是ip地址和其对应主机名文件,使机器知道ip和主机名对应关系,格式如下:

四、ssh互信  hadoop用户权限下

准备工作:

#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer

1.在每个节点上建立密钥:ssh-keygen -t rsa

1、配置/etc/hosts文件,增加如下两行

2.配置免密码登陆SSH

2.把id_rsa.pub追加授权到keys里面去:

192.168.1.105 cloud001
192.168.1.106 cloud002

1)生成密钥:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2、service iptables stop 关闭iptables服务

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

修改权限   chmod 755 ~/.ssh/authorized_keys

3、安装jdk jdk-6u45-linux-i586.bin,在/opt下运行解压

以上是两个单引号。

3.ssh 主机名测试   :ssh localhost   退出exit

配置/etc/profile,增加

2)将id_dsa.pub(公钥)追加到授权的key中:

五、在hadoop用户下新建hadoop文件夹 

export JAVA_HOME=/opt/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar
export PATH=$JAVA_HOME/bin:$PATH

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  1. su hadoop

而后运行 source /etc/profile

3)将认证文件复制到其它节点上:

2.mkdir hadoop  cd hadoop 

可以使用env命令查看环境变量是否设置成功

scp ~/.ssh/authorized_keys hadooper@192.168.1.241:~/.ssh/ 

3.rz 导入hadoop-2.6.0压缩包。tar -xzf 解压缩,解完删除压缩包(rm -r)

4、配置SSH免密码登陆,这个比较重要

第一次要确认连接,输入yes即可。

4.切换到root用户 修改hadoop环境变量,因为java 是yum安装,因此只需要配置hadoop就行

    1)两台机器上运行ssh-keygen -t rsa 生成一对秘钥:私钥(id_rsa)和公钥(id_rsa.pub);

但我的仍要求输入密码,原因是.ssh和authorized_keys权限不对,具体见:http://www.linuxidc.com/Linux/2014-10/107762.htm

vi /etc/profile
在done的后面加入
export HADOOP_HOME=/home/hadoop/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

    2)将192.168.1.105机器上的公钥复制到192.168.1.106机器上的相应/root/.ssh/目录下

3.各节点上安装jdk
1)选择的版本是jdk-6u27-linux-i586.bin,下载地址:
2)上传到hadooper用户目录下,添加执行权限

5.改完一定不要忘记source 一下....

        scp ./id_rsa.pub root@192.168.1.106:/root/.ssh/authorized_keys

chmod 777 jdk-6u27-linux-i586.bin 

6.进入hadoop用户修改配置文件,在~目录下,vim .bash_profile

    3)将192.168.1.106机器上的公钥复制到192.168.1.105机器上的相应/root/.ssh/目录下

3)安装

HADOOP_HOME=/home/hadoop/hadoop/hadoop-2.6.0
PATH=/home/hadoop/hadoop/hadoop-2.6.0/bin:/home/hadoop/hadoop/hadoop-2.6.0/sbin:$PATH:$HOME/bin
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
HADOOP_OPTS="-Djava.librart.path=$HADOOP_HOME/lib"
export PATH HADOOP_HOME HADOOP_COMMON_LIB_NATIVE_DIR HADOOP_OPTS 

        scp ./id_rsa.pub root@192.168.1.105:/root/.ssh/authorized_keys

./jdk-6u27-linux-i586.bin 

7.source 使文件生效

    4)两台机器都进入到/root/.ssh目录下,都运行cat id_rsa.pub >> authorized_keys

编辑:互联网科技 本文来源:Hadoop 2.2.0的安装配置

关键词:

  • 上一篇:没有了
  • 下一篇:没有了