Hadoop安装-准备环境

环境准备

首先准备3台机器,这里和小伙伴一起买了三台阿里云

1.为每台机器添加hadoop用户组,添加hadoop用户

sudo groupadd hadoop
sudo useradd -g hadoop
sudo passwd hadoop    

2.为每台机器的hadoop配置sshkey

sudo su - hadoop
cd ~/.ssh                没有.ssh目录使用ssh-keygen生成
将三台机器的id_rsa.pub公钥拷贝到.ssh/authorized_keys中,若没有该文件touch一个
务必保证每台机器使用hadoop用户可以ssh登录到其他机器上
这里使用注意的是authorized_keys文件必须要有600权限

3.配置host

***.***.***.*** master
***.***.***.*** slave01
***.***.***.*** slave02

3.下载hadoop,配置环境变量

cd ~
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz

解压后设置环境变量

vim ~/.bashrc

export HADOOP_PREFIX=$HOME/local/opt/hadoop-2.2.0
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

srouce ~/.bash_profile 使之生效,这样的好处不会污染其他用户的环境变量

echo $HADOOP_PREFIX
/home/hadoop/local/opt/hadoop-2.2.0