环境准备
首先准备3台机器,这里和小伙伴一起买了三台阿里云
1.为每台机器添加hadoop用户组,添加hadoop用户
sudo groupadd hadoop
sudo useradd -g hadoop
sudo passwd hadoop
2.为每台机器的hadoop配置sshkey
sudo su - hadoop
cd ~/.ssh 没有.ssh目录使用ssh-keygen生成
将三台机器的id_rsa.pub公钥拷贝到.ssh/authorized_keys中,若没有该文件touch一个
务必保证每台机器使用hadoop用户可以ssh登录到其他机器上
这里使用注意的是authorized_keys文件必须要有600权限
3.配置host
***.***.***.*** master
***.***.***.*** slave01
***.***.***.*** slave02
3.下载hadoop,配置环境变量
cd ~
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz
解压后设置环境变量
vim ~/.bashrc
export HADOOP_PREFIX=$HOME/local/opt/hadoop-2.2.0
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
srouce ~/.bash_profile 使之生效,这样的好处不会污染其他用户的环境变量
echo $HADOOP_PREFIX
/home/hadoop/local/opt/hadoop-2.2.0