HBase装配笔记

HBase安装笔记

经过几天的研究，终于把最新版的hbase和hadoop安装起来了，中间遇到了各种各样的问题啊，记录下来以免其它人走弯路。有时间的时候，再把遇到的各种问题总结一下。

1. 从官网下载Hbase(0.96.0)和Hadoop(2.2.0), 因为服务器是64bit的，所以只能下载hadoop2.2.0的源码，自己编译。

1.1 如果要编译本地库，需要安装一下软件：

yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool cmake openssl-devel

1.2 安装Maven

tar zxvf apache-maven-3.1.1-bin.tar.gz

vi /etc/profile

增加两行：

export MAVEN_HOME=[maven home path]

export PATH=${MAVEN_HOME}/bin:$PATH

1.3 安装ProtocolBuffer

tar zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

sudo ./configure

sudo make

sudo make check

sudo make install

protoc --version

1.4 编译hadoop2.2.0

mvn clean package -Pdist,native -DskipTests -Dtar

编译成功后，./hadoop-dist/target/hadoop-2.2.0.tar.gz就是我们需要的文件了

2. 分配机器：

2.1 修改/etc/hosts文件

10.161.160.10 cloud001

10.161.160.11 cloud002

10.161.160.12 cloud003

2.2 分配hdfs的机器：

cloud001:namenode

cloud002:datanode

cloud003:datanode

2.3 分配hbase的机器：

cloud001:master

cloud002:regionserver

cloud003:regionserver

3. 设置ssh无需密码连接

3.1 在cloud001机器上运行ssh-keygen -t rsa命令，一路按回车结束后，会在~/.ssh下生成id_rsa.pub的文件

3.2 cp id_rsa.pub authorized_keys

3.3 ssh localhost 就能不需要密码直接连接自己了。

3.4 将zuthorized_keys文件拷贝到cloud002,cloud003机器的~/.ssh目录下

scp zuthorized_keys cloud002:/root/.ssh

4. 安装分布式hdfs

4.1 将编译好的hadoop-2.2.0.tar.gz文件拷贝到cloud002,cloud003上。注意：hadoop的路径要一致

4.2 解压：tar zxvf hadoop-2.2.0.tar.gz，配置文件路径./hadoop-2.2.0/etc/hadoop/

4.3 修改hadoop-env.sh文件中的export JAVA_HOME，将它改为JAVA_HOME的路径。所有机器上的jdk路径需要一致

4.4 修改core-site.xml文件

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://cloud001:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/hadoop/tmp</value>

</property>

</configuration>

4.5 修改hdfs-site.xml文件

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/hadoop/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/hadoop/hdfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

注意：dfs.replication的数量必须小于或等于datanode的数量

4.6 修改slaves文件，设置datanode

cloud002

cloud003

4.7 格式化namenode，命令：hdfs namenode -format

4.8 启动hdfs，命令：./start-dfs.sh

4.9 产看hdfs状态，命令：hdfs dfsadmin -report

注意：一定要关闭防火墙，命令service iptables stop

5. 安装分布式hbase(使用hbase内置的zookeeper)

5.1 解压：tar zxvf hbase-0.96.0-hadoop2-bin.tar.gz

5.2 修改./conf/hbase-env.sh文件

export JAVA_HOME=your_java_home

export HBASE_MANAGES_ZK=true

5.3 修改./conf/hbase-site.xml文件

<configuration> 

<property> 

<name>hbase.master</name> 

<value>cloud001:60000</value> 

</property> 

<property> 

<name>hbase.rootdir</name> 

<value>hdfs://cloud001:9000/hbase</value> 

</property> 

<property> 

<name>hbase.cluster.distributed</name> 

<value>true</value> 

</property> 

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value> 

</property> 

<property> 

<name>hbase.zookeeper.quorum</name> 

<value>cloud001</value> 

</property> 

</configuration>

5.4 在hdfs上创建一个hbase的文件夹。hadoop fs -mkdir /hbase

5.5 修改./conf/regionservers文件，增加regionserver

cloud002

cloud003

5.6 将HBASE_DIR/lib下所有以hadoop开头的jar文件全部替换成2.2.0版本

5.7 启动hbase.