本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅 1、准备软件 2、安装JDK 3、安装Hadoop 4、SSH免password登录 5、開始终极配置 5.1到hadoop2.4.0文件夹下

 64位下载包下载:     hadoop-2.4.0-64bit.tar.gz
百度网盘:
链接: http://pan.baidu.com/s/1hqEDe2S password: 224f
链接: http://pan.baidu.com/s/1gdl95OB password: h6dc

2、安装JDK

直接运行安装命令:sudo apt-get install openjdk-7-jdk

3、安装Hadoop

3.1上传hadoop压缩文件

通过之前配置的FlashFXP直接将文件上传到Ubuntu上

3.2解压hadoop文件

sudo tar -xzvf /tmp/hadoop-2.4.0-64bit.tar.gz

3.3配置hadoop文档

文档1:sudo vi profile(注意,这里说的etc不是hadoop文件夹下的那个,是用户根文件夹下的。

在末尾加入:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export HADOOP_PREFIX=/home/YXC/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH

文档2:hadoop-env.sh 进入hadoop2.4.0目录,配置etc/hadoop中的文件
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386

文档3:core-site.xml
<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/home/YXC/hadoop-2.4.0/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/home/YXC/hadoop-2.4.0/dfs/data</value>
     </property>
</configuration>

文档4:hdfs-site.xml(系统默认文件保存3份,因伪分布模式。故改为1份)
<configuration>
  <property>
      <name>dfs.replication</name>  
      <value>1</value>  
      <description>Default block replicied when the file is created. The default </description>  
  </property>  
  <property>
      <name>dfs.namenode.name.dir</name>
      <value>/home/YXC/hadoop-2.4.0/dfs/name</value>
  <property>
  <property>
      <name>dfs.namenode.data.dir</name>
      <value>/home/YXC/hadoop-2.4.0/dfs/data</value>
  <property>
<configuration>

文档5:mapred-site.xml
(注意改动文件后缀:sudo mv mapred-site.xml.template mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>localhost:9001</value>
  </property>
</configuration>

文档6:yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

4、SSH免password登录

      之前已经配置,不再赘述。

ssh localhost
要是能免password登陆显示系统信息。就应该是对的。(这里有个输入password环节,是系统的password)。

5、開始终极配置

5.1到hadoop2.4.0文件夹下

./bin/hadoop namenode –format格式化结点信息
假设出现  HADOOP_HDFS_HOME not found!
关掉虚拟机重新启动就可以。

5.2開始sbin/start-all.sh.

运行 jps 则出现:
本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅
1、准备软件
2、安装JDK
3、安装Hadoop
4、SSH免password登录
5、開始终极配置
5.1到hadoop2.4.0文件夹下
表明成功!
浏览器下http://ip:50070 这是hdfs的页面!
本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅
1、准备软件
2、安装JDK
3、安装Hadoop
4、SSH免password登录
5、開始终极配置
5.1到hadoop2.4.0文件夹下