Hadoop myeclipse跟eclipse开发环境的配置

Hadoop myeclipse和eclipse开发环境的配置

MyEclipse/Eclipse安装Hadoop(mapreduce)插件

转载请注明出处:http://blog.csdn.net/lvsaixia/article/details/42323133

MyEclipse按照Hadoop(mapreduce插件)

1、下载好hadoop-eclipse-plugin-X.X.X.jar。版本必须和Hadoop的版本相对应。(不然连接文件系统的时候会出现本文后面出现的错误)
2、解压下载好的文件。把解压好的文件放在MyEclipse安装目录下的Genuitec\MyEclipse-8.6\dropins文件夹下。Eclipse放到对应的插件目录下。
3、设置MyEclipse和Eclipse,使得mapreduce相关的窗口显示出来。
window -> Open perspective -> other,然后选择mapreduce选项,调出以下窗口:
Hadoop myeclipse跟eclipse开发环境的配置
Hadoop myeclipse跟eclipse开发环境的配置
window -> show view -> other,然后,选择mapreduce选项,调出以下窗口:
Hadoop myeclipse跟eclipse开发环境的配置
Hadoop myeclipse跟eclipse开发环境的配置
4、配置hadoop所在的文件目录。
window->Preferences->Hadoop Map/Reduce->Browse...(然后,选择hadoop解压文件所在的主目录)-> Apply -> OK。
Hadoop myeclipse跟eclipse开发环境的配置
Hadoop myeclipse跟eclipse开发环境的配置
 5、配置mapreduce
a、新建new hadoop location。
Hadoop myeclipse跟eclipse开发环境的配置
Hadoop myeclipse跟eclipse开发环境的配置
b、填写参数:
Hadoop myeclipse跟eclipse开发环境的配置

Hadoop myeclipse跟eclipse开发环境的配置

Host:对应为Master节点所在的IP地址,如果是本机可以使用localhost。

Port:50020填写mapred-site.xml下mapred.job.tracker属性的value值(9001)。

Port:50040填写core-site.xml下fs.default.name属性的value值(9000)。

填写Advanced parameters选项,这些属性和配置文件里面的属性相对应,一般不需要自己手动配置。

6、配置完成以后就可以看到,Hadoop在MyEclipse下的文件系统,可以方便的实现文件的上传和下载。

Hadoop myeclipse跟eclipse开发环境的配置

Hadoop myeclipse跟eclipse开发环境的配置

Hadoop myeclipse跟eclipse开发环境的配置

置过程中常见的错误:

 1、Error:call to/*:9000: failed on local exception:java.io.EOFException

hadoop-eclipse-plugin-X.X.X 版本不对,下载相对应的插件。

2、Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused

原因:hadoop未启动或core-site.xml中配置错误;解决方案:启动hadoop或修改配置。
3. Cannot delete /home/hadoop/part. Name node is in safe mode.
hadop刚开始的时候会是safe模式,如果自己没有设置hadoop的模式,就只需要等待一会。如果自己修改了hadoop的模式,则需要把hadoop的safe模式关闭。

转载请注明出处:http://blog.csdn.net/lvsaixia/article/details/42323133