Hadoop 统制split尺寸

分类: IT文章 • 2022-05-09 19:59:07

Hadoop 控制split尺寸
三个参数决定Map的Split尺寸

1.mapred.min.split.size
2.mapred.max.split.size
3.dfs.block.size

根据公式:
               max(minimumSize,min(maximumSize,blockSize))
默认情况:
               minimumSize < blockSize < maximumSize

例子:
   min    max    block    split
     1M     100M 64M      64M
   128M   512M 64M      128M
     1M     32M    64M      32M