hadoop2.5.2学习及实践札记（一）—— 伪分布式学习环境搭建

# cd /opt/softwares/       --进入到软件包目录

# tar -zxvf jdk-7u75-linux-x64.tar.gz   --解压jdk tar包

# mv jdk1.7.0_75/ /opt/modules/  --复制到软件安装目录

# vi /etc/profile   --配置环境变量，在文件最后添加如下配置

export JAVA_HOME=/opt/modules/jdk1.7.0_75
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile  --使环境变量立即生效

# java -version  --检查配置

# groupadd hadoop   --添加hadoop用户组

# useradd -g hadoop hadoop  --添加hadoop用户并添加到hadoop组中

# passwd hadoop  --为hadoop用户设置密码

# tar -zxvf hadoop-2.5.2.tar.gz  --解压tar包

# mv hadoop-2.5.2 /opt/modules/  --复制到安装目录

# cd /opt/modules/

# chown -R hadoop:hadoop hadoop-2.5.2  --修改用户和组

$  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$  chmod 644 authorized_keys  --权限修改为rw-r-r

# vi hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_75  --显式配置JAVA_HOME，而非使用JAVA_HOME=${JAVA_HOME}

# vi core-site.xml

<configuration>

    <property>      --指定文件系统及主机、端口

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

# vi hdfs-site.xml

<configuration>

    <property>  --配置副本数量，默认为3，伪分布式下若不配置，则会提示副本数不足

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

$ mkdir -p /opt/data/hadoop/hdfs/name    --创建namenode文件存储目录

$ mkdir -p /opt/data/hadoop/hdfs/data     --创建datanode数据存储目录

$ vi hdfs-site.xml

<property>   --默认存储在/tmp/hadoop-hadoop/dfs/name目录下，清空缓存时，集群数据丢失，且无法重建，后果非常严重
        <name>dfs.namenode.name.dir</name>
        <value>/opt/data/hadoop/hdfs/name</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/data/hadoop/hdfs/data</value>
</property>

$ hdfs namenode –format

$ ./sbin/start-dfs.sh   --启动hdfs

$ jps   --进程查看

SecondaryNameNode   
Jps
DataNode
NameNode

$ cp mapred-site.xml.template mapred-site.xml  --复制模板文件，并命名为mapred-sit.xml

$ vi mapred-site.xml

<property>   --local:本地作业运行器  classic:经典mapreduce框架  yarn:新框架

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

</property>

$ vi yarn-site.xml

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

</property>

$ ./sbin/start-yarn.sh

$ jps

SecondaryNameNode   
Jps
DataNode
NameNode
ResourceManager
NodeManager