Ubuntu上Hadoop的集群版的安装
|
Ubuntu下Hadoop的集群版的安装 0,准备两个服务器 机器名 IP 作用 hadoop.main 192.168.1.102 NameNode,JobTracker,DataNode,TaskTracker hadoop.slave 192.168.1.107 DataNode,TaskTracker 注意:两台主机必须使用相同的用户名运行 |
|
1,安装ssh sudo apt-get install ssh |
|
2,安装rsync sudo apt-get install rsync |
|
3,配置ssh免密码登录 ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 验证是否成功 ssh localhost |
|
4,配置JDK环境和下载hadoop 1.0.3 JDK 安装路径为~/home/app/jdk1.6.0_30 Hadoop 1.0.3路径为~/hadoop-1.0.3 |
|
5,修改hadoop配置文件，指定jdk安装路径 vi conf/hadoop-env.sh export JAVA_HOME=/home/app/jdk1.6.0_30 |
|
6,修改hadoop核心配置文件core-site.xml，配置HDFS的地址和端口号 vi conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> |
|
7,修改Hadoop中HDFS配置，修改replication vi conf/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> |
|
8,修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口 vi conf/mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> |
|
9,格式化Hadoop的文件系统HDFS bin/hadoop namenode -format |
|
10,启动Hadoop bin/start-all.sh |
|
11,最后验证hadoop是否安装完成，打开浏览器分别输入以下网址： http://127.0.0.1:50030 MapReduce的web界面 http://127.0.0.1:50070 HDFS的web界面 如果能够查看说明Hadoop安装成功 |
|
12,当两台主机上都按照1-11步骤安装完成hadoop环境，那么继续13 |
|
13,在/etc/hostname中修改主机名 在/etc/hosts中配置主机名和IP地址对应关系 |
|
14,将Hadoop.main节点中的~/.ssh/id_rsa.pub文件拷贝到hadoop.slave 的~/.ssh/目录下运行： cat ./id_rea.pub >> authorized_keys |
|
15,分别修改两台主机中的hadoop配置文件的masters和slaves
|