Hadoop系列（一）：Hadoop集群搭建
环境：CentOS 7
JDK： 1.7.0_80
hadoop：2.8.5
两台机器：master(192.168.56.101) slave(192.168.56.102)
配置基础环境
1. 测试环境可以直接关闭selinux和防火墙(每个节点)
2. 每台主机添加hosts记录(每个节点)
# vim /etc/hosts 192.168.56.101 master 192.168.56.102 slave
3. 创建hadoop用户
# useradd hadoop # passwd hadoop
4. 添加免密登陆(master节点本身也需要免密）
# su - hadoop $ ssh-keygen -t rsa $ ssh-copy-id hadoop@slave $ ssh-copy-id hadoop@master $ ssh hadoop@slave $ ssh hadoop@master 其它节点也执行添加的过程...
安装JDK（每个节点都需要安装）
1. 卸载系统自带的openjdk
yum remove *openjdk*
2. 安装JDK
JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
# tar zxvf jdk1.7.0_80.tgz -C /usr/local/ # vim /etc/profile #添加 export JAVA_HOME=/usr/local/jdk1.7.0_80 export JAVA_BIN=$JAVA_HOME/bin export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH # source /etc/profile # java -version java version "1.7.0_80" Java(TM) SE Runtime Environment (build 1.7.0_80-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
部署Hadoop
在一台机器上配置，之后拷贝到其他节点主机
1. 安装Hadoop
# su - hadooop $ wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz $ tar zxvf hadoop-2.8.5.tar.gz $ mv hadoop-2.8.5 hadoop #添加环境变量(每个节点都配置) $ vim ~/.bashrc export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin $ source ~/.bashrc
2. 配置Hadoop
配置文件在`hadoop/etc/hadoop`目录下
$ cd hadoop/etc/hadoop
#1. 修改core-site.xml
$ vim core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop/tmp</value>
</property>
</configuration>
# 2. 修改hdfs-site.xml
$ vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
</configuration>
# 3. 修改mapred-site.xml
$ cp mapred-site.xml.template mapred-site.xml
$ vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
# 4. 修改yarn-site.xml
$ vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
# 5. 修改slaves(此文件中指定slave节点)
$ vim slaves
slave
# 6. 修改hadoop-env.sh(如果不声明JAVA_HOME,在启动时会出现找不到JAVA_HOME 错误)
$ vim hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
改为
export JAVA_HOME=/usr/local/jdk1.7.0_80
# 7. 修改yarn-env.sh(如果不声明JAVA_HOME,在启动时会出现找不到JAVA_HOME 错误)
$ vim yarn-env.sh
在脚本前面添加
export JAVA_HOME=/usr/local/jdk1.7.0_80
3. 拷贝hadoop到slave节点，拷贝完成后修改yarn-site.xml文件要添加的内容
$ scp -r hadoop/ hadoop@slave:~/
4. 格式化HDFS
$ hadoop namenode -format
5. 启动服务
在Master上启动daemon，Slave上的服务会一起启动
$ sbin/start-dfs.sh $ sbin/start-yarn.sh 或者 $ start-all.sh
查看启动情况
# master节点 $ jps 16321 NameNode 16658 ResourceManager 16511 SecondaryNameNode 16927 Jps #slave节点 $ jps 16290 Jps 16167 NodeManager 16058 DataNode
浏览器中访问http://192.168.56.101:50070 查看管理页面
测试hadoop使用