Hadoop新版跟旧版中InputSplit大小的区别

Hadoop新版和旧版中InputSplit大小的区别

          Hadoop旧版中InputSplit的个数由下面三个参数决定：

         goalSize：totalSize/numSpilt.totalSize为文件大小，numSplit为用户设定的map task个数，默认为1.

         minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.

         blockSize：HDFS中块的大小.

         

         splitSize = max(minSize,min(goalSize,blockSIze))

         

        新版：

         maxSize：由配置参数mapred.max.split.size确定，已经不再考虑用户设定的map task个数.

         minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.

         blockSize：HDFS中块的大小.

       splitSize = max(minSize,min(maxSize,blockSIze))