Hadoop中一些优化主意
Hadoop中一些优化想法
最近看了一些在线上跑的程序，发现一个Map输入量在700多mb，而reduce的输入只有几k。一个HiveSql程序，发现该程序只是将文件第一行的数值读出来，然后处理，其他都不需要，Hadoop在对文件的部分内容处理上还需要改进，目前无论是你的需求是什么，都会读入整个文件。
有时候我的程序不需要排序，但是在Map的输出和拷贝Map输出后的reduce端都会做排序，前者用的快速排序，后者用的堆排序，我不需要排序，只能将sort类变为NULL？期待更nb的方法。
最近看了一些在线上跑的程序，发现一个Map输入量在700多mb，而reduce的输入只有几k。一个HiveSql程序，发现该程序只是将文件第一行的数值读出来，然后处理，其他都不需要，Hadoop在对文件的部分内容处理上还需要改进，目前无论是你的需求是什么，都会读入整个文件。
有时候我的程序不需要排序，但是在Map的输出和拷贝Map输出后的reduce端都会做排序，前者用的快速排序，后者用的堆排序，我不需要排序，只能将sort类变为NULL？期待更nb的方法。