您的位置: 首页  >  IT文章  >  Hadoop环境搭建2_hadoop安装和运行环境

Hadoop环境搭建2_hadoop安装和运行环境

分类: IT文章 • 2024-01-05 13:44:24

1 运行模式：

单机模式（standalone）：  单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

伪分布模式（Pseudo-Distributed Mode）：  伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。

全分布模式（Fully Distributed Mode）：   Hadoop守护进程运行在一个集群上。

2 下载Hadoop：------------------笑一个------------------------　

获取安装包后
在home/user目录下创建一个文件夹hadoop, 便于管理hadoop;
更改该文件夹的所有者：sudo chown -R user:usergroup hadoop
有了这步后，更改文件夹，就可以在Ubuntu界面下来操作来

3 配置的过程：

　　1修改配置文件：

　　　　five@ubuntu:~/hadoop/conf$ gedit hadoop-env.sh　　　

　　　　添加如下：

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64 (视你机器的java安装路径而定)
export HADOOP_HOME=/home/five/hadoop
export PATH=$PATH:/home/five/hadoop/bin

生效：source hadoop-env.sh 

提示：当然你可以在用户环境变量中添加第二个第三个，以便在任意路径下都可以快速执行hadoop命令

2修改文件：

　　文件1:---------------------------　

    conf/core-site.xml文件内容修改为下面内容：

　　<configuration>

     <!-- global properties 以下部分可以不用添加，在1.2.1的示例运行的时候回出现问题-->
     <property>
　　  <name>hadoop.tmp.dir</name>
　　  <value>/home/five/hadoop/tmp</value>
　　 </property>

    <!-- file system properties -->  hadoop核心配置文件，HDFS 的地址和端口号
　　 <property>
　　  <name>fs.default.name</name>
　　  <value>hdfs://localhost:9000</value>
　　 </property>
　　</configuration>

文件2:---------------------------

　conf/hdfs-site.xml文件内容修改为下面内容：(replication默认为3，如果不修改，datanode少于三台就会报错)
　　<configuration>
　　 <property>
　　  <name>fs.replication</name>
　　  <value>1</value>
　　 </property>
　　</configuration>

文件3:---------------------------

    这是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
　　conf/mapred-site.xml文件内容修改为下面内容：
　　<configuration>
　　 <property>
　　  <name>mapred.job.tracker</name>
　　  <value>localhost:9001</value>
　　 </property>
　　</configuration>

3 格式化Hadoop文件系统，在命令行输入命令：

　　bin/hadoop namenode -format

　　显示：15/03/16 15:43:46 INFO common.Storage: Storage directory /home/five/hadoop/hdfs/name has been successfully formatted.

　　上面命令如果有错，hadoop目录下执行，或者在环境变量中添加：hadoop的bin目录后，运行：hadoop namenode -format

4 、启动Hadoop，在命令行输入命令：

　　　　bin/start-all.sh
　　　　./start-all.sh
　　　　用bin/start-all.sh;也可以用bin/start-dfs.sh和bin/start-mapred.sh）

　　5

隔10秒后，因为可能会报错：
然后在命令行下输入：jps
发现有：
4574 TaskTracker
4630 Jps
2865 JobTracker
4237 DataNode
4394 SecondaryNameNode
4092 NameNode

6 验证Hadoop是否安装成功，在浏览器中输入下面网址，如果正常打开说明安装成功。

　　http://localhost:50030 (mapreduce的web页面)
　　http://localhost:50070 (hdfs的web页面)

 

错误信息：

1 http://localhost:50070 ，第二个打不开：

查看Logs:
2015-03-16 16:43:20,701 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode:
java.net.UnknownHostException: Invalid hostname for server: master

　　打开core-site.xml中的主机：看是不是正确，由于我之前写错了，

　　2 jps命令后，发现没有DataNode:可能是由于多次格式化NameNode造成

　　　　ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs 

1.进入每个datanode的 dfs.data.dir 的 current目录，修改里面的文件VERSION

#Fri Nov 23 15:00:17 CST 2012
namespaceID=246015542
storageID=DS-2085496284-192.168.1.244-50010-1353654017403
cTime=0
storageType=DATA_NODE
layoutVersion=-32

里面有个 namespaceID 将其修改成为报错信息中的

namenode namespaceID = 971169702

相同的 namespaceID .

然后重新启动 datanode全部都能正常启动了。

4 运行示例：　

(1)先在本地磁盘建立两个输入文件 file01和file02
$echo "Hello World Bye World" > file01
$echo "Hello Hadoop Goodbye Hadoop" > file02
例如：我的是：/home/five/input : file01 file02

(2)在hdfs中建立一个input目录：$hadoop fs -mkdir input
(3)将file01和file02拷贝到hdfs中：
$hadoop fs -copyFromLocal /home/five/input/file0* input
(4)执行wordcount:
$hadoop jar hadoop/hadoop-examples-1.2.1.jar wordcount input hadoop/output

hadoop jar hadoop-examples-1.0.4.jar （指定例子所在jar包 ） wordcount （指定程序的名字） /user/hadoop/test-examples/world-count（输入参数）  /user/hadoop/test-examples/world-count-result（输出结果）

Error：1：需要是安装目录下对应的版本：hadoop-examples-1.2.1.jar

　　　 2：如果提示创建Tem文件夹失败：删除那个在文件conf/core-site.xml中的属性

　　

(5)完成之后，查看结果
$hadoop fs -cat hadoop/output/part-r-00000

显示如下信息：
.....
.....
15/03/17 15:16:24 INFO mapred.JobClient: map 0% reduce 0%
15/03/17 15:16:32 INFO mapred.JobClient: map 100% reduce 0%
15/03/17 15:16:40 INFO mapred.JobClient: map 100% reduce 33%
15/03/17 15:16:41 INFO mapred.JobClient: map 100% reduce 100%

 

 

5：参考：

http://www.linuxidc.com/Linux/2013-06/86106p2.htm
http://blog.csdn.net/wyswlp/article/details/10564847
http://www.cnblogs.com/forfuture1978/category/300670.html
http://www.linuxidc.com/Linux/2012-01/50880p2.htm 

 

 

相关推荐