Nutch有关框架视频教程11

Nutch相关框架视频教程11

第十一讲
土豆在线视频地址（64分钟）
超清原版下载地址
压缩高清下载地址

1、配置Cygwin支持无密码SSH登陆

安装SSH

默认的Cygwin没有安装ssh，所以重新运行http://www.cygwin.com/setup.exe

在Select Packages的时候，在search输入ssh，选择openssh:The OpenSSH server and client programs

配置SSH服务（以管理员身份运行cygwin）

ssh-host-config

Should privilege separation be used? yes

Do you want to install sshd as a service? yes

默认确认

Do you want to use a different name? no

Create new privileged user account 'cyg_server'? yes

输入密码

cygrunsrv -S sshd

如果需要重新安装sshd服务，可以用cygrunsrv -R sshd

生成SSH Key

ssh-keygen -t rsa（密码为空，路径默认）

cp .ssh/id_rsa.pub .ssh/authorized_keys

登陆

ssh localhost

2、win上的HADOOP单机伪分布式

准备HADOOP运行环境

下载解压并拷贝到Cygwin的用户主目录

http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

1.x版本有BUG,参考：

https://issues.apache.org/jira/browse/HADOOP-7682
https://issues.apache.org/jira/browse/HADOOP-8274

BUG修复请参考：

http://en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin

在/home/ysc/.bashrc 中追加：

export JAVA_HOME=/home/ysc/jdk1.7.0_17

export PATH=/home/ysc/hadoop-0.20.2/bin:$JAVA_HOME/bin:$PATH

在hadoop-0.20.2/conf/hadoop-evn.sh中追加

export JAVA_HOME=/home/ysc/jdk1.7.0_17

export HADOOP_LOG_DIR=/tmp/logs

创建符号链接

mklink /D C:\tmp C:\cygwin\tmp

重新登录就生效

ssh localhost

which hadoop

配置HADOOP运行参数

vi conf/core-site.xml

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

vi conf/hdfs-site.xml

<name>dfs.replication</name>

</property>

vi conf/mapred-site.xml

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

<name>mapred.tasktracker.map.tasks.maximum</name>

</property>

<name>mapred.tasktracker.reduce.tasks.maximum</name>

</property>

格式化名称节点并启动集群

hadoop namenode -format

启动集群并查看WEB管理界面

start-all.sh

访问http://localhost:50030可以查看 JobTracker 的运行状态

访问http://localhost:50060可以查看 TaskTracker 的运行状态

访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及 log 等

停止集群

stop-all.sh停止集群

3、执行wordcount命令

hadoop jar hadoop-0.20.2-examples.jar wordcount input output

Nutch有关框架视频教程11

相关推荐