您的位置: 首页  >  IT文章  >  MapReduce核心思想

MapReduce核心思想

分类: IT文章 • 2022-07-30 17:59:17

核心：

        分而治之，先分再和

俩个阶段：

            Map阶段(分)：

        1.  如果任何可以拆分并且没有依赖，那么就可以把复杂的任务拆分成小任务
        2. 拆分成下任务后，进行并行计算，提高处理效率
           Reduce阶段(合)：
        1. 把map阶段的各个局部结果进行汇总，得到最终结果！

来源：

        1. 来源于生活，
        2. 由谷歌提出，主要用于搜索领域，处理海量数据的计算问题，
        3. 由Google和hadoop团队将此思想提炼处理运用与大数据领域

相关推荐