关于Map跟Reduce最大的并发数设置
一、环境
1、hadoop 0.20.2
2、操作系统 Linux
二、设置
1、因为hadoop的集群所有的机器不可能完全的配置一样，所以，不同节点机器上并发的最大map和reduce数量最好也不要相同。
2、在对应的节点机器上修改mapreduce-sit.xml文件，添加参数如下：
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
<description>The maximum number of reduce tasks that will be run
simultaneously by a task tracker.
</description>
</property>
各个节点机器上在这个字段值上可以不相同。
3、查看http://192.168.3.131:50030/machines.jsp?type=active来检查数量。
三、总结
１、配置完之后，不需要重启集群所有的机器，只需要重启你改动过的节点机器就可以。
２、如果通过网页看不到变化，那么执行任意一个job，数值就会凸显出变化。
3、结合公平调度器来使用，可以最大程度上提升性能。
4、写的不对或是有疑问可以发邮件沟通。dajuezhao@gmail.com