Nutch有关框架视频教程15
第十五讲
优酷在线视频地址 （30分钟）
压缩超清下载地址
1、限制hadoop节点连接
NameNode:
vi conf/hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>/home/hadoop/hadoop-1.1.2/conf/include</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/home/hadoop/hadoop-1.1.2/conf/exclude</value>
</property>
加入集群节点
vi /home/hadoop/hadoop-1.1.2/conf/include
JobTracker:
vi conf/mapred-site.xml
<property>
<name>mapred.hosts</name>
<value>/home/hadoop/hadoop-1.1.2/conf/include</value>
</property>
<property>
<name>mapred.hosts.exclude</name>
<value>/home/hadoop/hadoop-1.1.2/conf/exclude</value>
</property>
加入集群节点
vi /home/hadoop/hadoop-1.1.2/conf/include
重启集群
2、动态删除DataNode节点和TaskTracker节点
vi /home/hadoop/hadoop-1.1.2/conf/exclude
增加待删除的节点host226
在NameNode上面执行：
hadoop dfsadmin -refreshNodes
vihadoop-1.1.2/conf/slaves （去掉host226）
vi hadoop-1.1.2/conf/include（去掉host226）
hadoop dfsadmin -refreshNodes(使include的更改生效)
rmhadoop-1.1.2/conf/exclude
exclude主要是使一个datanode节点安全退役
删除tasktracker方式一：
vi /home/hadoop/hadoop-1.1.2/conf/exclude
增加待删除的节点host226
在JobTracker上面执行：
hadoop mradmin -refreshNodes
vihadoop-1.1.2/conf/slaves （去掉host226）
vi hadoop-1.1.2/conf/include（去掉host226）
hadoop mradmin -refreshNodes(使include的更改生效)
rmhadoop-1.1.2/conf/exclude
删除tasktracker方式二：
vi /home/hadoop/hadoop-1.1.2/conf/include
删除待删除的节点host226
在JobTracker上面执行：
hadoop mradmin -refreshNodes
vihadoop-1.1.2/conf/slaves （去掉host226）