配备HBase使用Map/Reduce

配置HBase使用Map/Reduce

1、HBase版本hbase-0.20.5,Hadoop的版本hadoop-0.20.2,JDK1.6

2、如果想通过MR对hbase进行一些操作,首先是需要做一些配置内容的,配置的流程如下:

a、默认安装完成了hadoop和hbase

b、首先引入环境变量(修改/etc/profile文件,在文件末尾追加下面内容):
# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_20

export JRE_HOME=/usr/java/jdk1.6.0_20/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH


export HADOOP_HOME=/jz/hadoop-0.20.2

export PATH=$HADOOP_HOME/bin:$PATH


export HBASE_HOME=/jz/hbase-0.20.5

export PATH=$PATH:$HBASE_HOME/bin


export ZOOKEEPER_HOME=/jz/zookeeper-3.3.1

export PATH=$PATH:$ZOOKEEPER_HOME/bin


export HIVE_HOME=/jz/hive-0.5.0-bin

export PATH=$PATH:$HIVE_HOME/bin

export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.5.jar:$HBASE_HOME/hbase-0.20.5-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.2.2.jar

c、将/jz/hbase-0.20.5/conf下的hbase-site.xml拷贝到hadoop的conf目录下,同时在/jz/hbase-0.20.5目录下,将hbase-0.20.5.jar、hbase-0.20.5-test.jar和/jz/hbase-0.20.5/lib/zookeeper-3.2.2.jar拷贝到hadoop/lib目录下。

d、至此,配置完成,可以开始试下了!

3、如果大家英文好,可以看看wiki的链接http://hbase.apache.org/docs/current/api/org/apache/hadoop/hbase/mapreduce/package-summary.html#package_description

4、如何使用M/R来操hbase,最典型的应用就是录入数据,可以参看hadoop权威指南,中关于hbase的介绍单元。

5、改完配置之后,记得重启hadoop集群和hbase服务。

6、如果有问题或是疑问,可以发邮件dajuezhao@gmail.com共同讨论。