您的位置: 首页  >  IT文章  >  hadoop生态圈安装详解（hadoop+zookeeper+hbase+pig+hive）

hadoop生态圈安装详解（hadoop+zookeeper+hbase+pig+hive）

分类: IT文章 • 2023-12-02 18:19:07

-------------------------------------------------------------------*

目录　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *

I　   hadoop分布式安装　　　　　　　　　　　　　　　　　　　   *

II　 zookeeper分布式安装　　　　　　　　　　　　　　　　　　  *

III　hbase分布式安装　　　　　　　　　　　　　　　　　　　　   *

IV　 pig分布式安装　　　　　　　　　　　　　　　　　　　　　 　*

V　   hive客户端安装　　　　　　　　　　　　　　　　　　　　　  *

--------------------------------------------------------------------*

1. hadoop分布式安装

　　----------------------------

　　Master　　192.168.137.100

　　Slaver1　  192.168.137.101

　　Slaver2　  192.168.137.102

　　----------------------------

　　1.1  设置IP地址　　【server network restart】 && 【ifconfig】

　　1.2  关闭防火墙　　【server iptables stop】 && 【server iptables status】　

　　1.3  永久关闭防火墙　　【chkconfig iptables off】 && 【chkconfig --list | grep iptables】

　　1.4  设置主机名　　【hostname Master】->【vi /etc/sysconfig/network】

　　1.5  ip与hostname绑定　　【vi /etc/hosts】 && 【ping Master】

　　1.6  设置ssh免密码登录　　

　　　　（1）ssh-keygen -t rsa（Master、Slaver1、Slaver）

　　　　　　  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys（Master、Slaver1、Slaver）

　　　　（2）ssh-copy-id -i id_rsa.pub root@Slaver1（Master）

　　　　       ssh-copy-id -i id_rsa.pub root@Slaver1（Slaver2）

　　　　（3）scp authorized_keys Master:/root/.ssh/authorized_keys 

　　　　　　  scp authorized_keys Slaver2:/root/.ssh/authorized_keys 

　　1.7  安装jdk

　　　　执行命令　　（1）cd /usr/local

　　　　　　　　　　（2）chmod u+x jdk-6u24-linux-i586.bin

　　　　　　　　　　（3）./jdk-6u24-linux-i586.bin

　　　　　　　　　　（4）mv jdk-1.6.0_24  jdk

　　　　　　　　　　（5）vi /etc/profile 增加内容如下:

　　　　　　　　　　　    export JAVA_HOME=/usr/local/jdk
　　　　　　　　　　　 　export PATH=.:$JAVA_HOME/bin:$PATH

　　　　　　　　　　（6）source /etc/profile

　　　　验证　　java -version

　　1.8  安装hadoop（下载hadoop-1.2.1.tar.gz到usr/local）

　　　　执行命令　　（1）tar -xzvf hadoop-1.2.1.tar.gz

　　　　　　　　　　（2）mv hadoop-1.2.1 hadoop

　　　　　　　　　　（3）vi /etc/profile 增加内容如下:

　　　　　　　　　　　　export JAVA_HOME=/usr/local/jdk
　　　　　　　　　　　　export HADOOP_HOME=/usr/local/hadoop
　　　　　　　　　　　　export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

　　　　　　　　　　（4）source /etc/profile

　　　　　　　　　　（5）修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slavers

　　　　　　　　　　（6）scp jdk/hadoop Slaver1/Slaver2:/usr/local

　　1.9  验证hadoop

　　　　　　　　　　（1）hadoop namenode -format

　　　　　　　　　　（2）start-all.sh

　　　　验证　　（1）在Master执行命令jps, 如看到3个新的java进程，分别是 NameNode、SecondaryNameNode、JobTracker　　

　　　　　　　　（2）在Slaver1/Slaver2执行命令jps, 如看到2个新的java进程，分别是 DataNode、askTracker

　　　　　　　　（3）在浏览器中查看, http://Master:50070 http://Master:50030

2. zookeeper分布式安装

相关推荐