Map Reduce编程中的reducer的改组和排序阶段的目的是什么？

在Map Reduce编程中，reduce阶段具有改组，排序和reduce的子部分。排序是一项昂贵的事务。

Map Reduce编程中的reducer的改组和排序阶段的目的是什么？

首先shuffling是将数据从映射器传输到简化器的过程，因此我认为对于简化器来说很明显是必要的，因为否则，它们将无法获得任何输入（或每个映射器的输入） 。改组甚至可以在地图阶段完成之前开始，以节省一些时间。因此，当地图状态尚未达到100％时，您会看到缩小状态大于0％（但小于33％）。

Sorting为减速器节省时间，帮助它轻松区分何时应启动新的减速任务。简单地说，当排序后的输入数据中的下一个键与上一个键不同时，它只是启动一个新的reduce任务。每个reduce任务都会获取一个键-值对列表，但是它必须调用reduce（）方法，该方法接受一个key-list（value）输入，因此必须按键对值进行分组。如果输入数据在映射阶段进行了预排序（本地），而在归约阶段简单地进行了归并排序（因为归约器从许多映射器获取数据），则这样做很容易。

Partitioning您在其中一个答案中提到的，是一个不同的过程。它确定映射相位的输出（键，值）对将发送到哪个减速器。默认的分区程序在键上使用哈希将其分配给reduce任务，但是您可以覆盖它并使用自己的自定义分区程序。

这些步骤的重要信息来源是此Yahoo教程。

下面是一个很好的图形表示形式（在此图中，混洗称为“复制”）：

请注意，如果您指定零个减速器（setNumReduceTasks（0））shuffling，sorting则根本不会执行和。然后，MapReduce作业在地图阶段停止，并且地图阶段不包括任何种类的排序（因此，即使地图阶段也更快）。

更新：由于您正在寻找更正式的东西，因此您也可以阅读Tom White的书“ Hadoop：权威指南”。这是您问题的有趣部分。
Tom White自2007年2月以来一直是Apache Hadoop的提交者，并且是Apache Software Foundation的成员，所以我认为它是相当可信且正式的...

让我们回顾一下Mapreduce程序的关键阶段。

该地图相由映射器来完成。映射器在未排序的输入键/值对上运行。每个映射器为每个输入键/值对发出零，一个或多个输出键/值对。

该组合相由合成器来完成。该组合应结合键/值对具有相同的密钥。每个组合器可以运行零次，一次或多次。

在洗牌和排序阶段是由框架来完成。来自所有映射器的数据按键分组，在化简器中拆分，然后按键排序。每个化简器获得与同一键关联的所有值。程序员可以提供用于排序的自定义比较功能，以及用于数据拆分的分区程序。

该分区决定哪些减速会得到一个特定的键值对。

该减速器取得排序键/ [值列表]对，排序由所述密钥。值列表包含映射器生成的具有相同键的所有值。每个缩减器为每个输入键/值对发出零，一个或多个输出键/值对。

看看这个javacodegeeks 文章由玛丽亚Jurcovicova和mssqltips由达塔为了更好的理解文章

以下是Safaribooksonline文章的图片

我想到的只是添加以上答案中缺少的一些要点。从这里获取的这张图清楚地说明了实际情况。

如果我再说一遍的真正目的

• 拆分：通过在不同节点（映射程序）之间分配处理负载来改善并行处理，这将节省总体处理时间。

• 合并：缩小每个Mapper的输出。这样可以节省将数据从一个节点移动到另一个节点的时间。

• 排序（随机排序）：使运行时可以轻松地计划（生成/启动）新的reducer，在浏览排序项目列表时，只要当前键与先前的键不同，就可以生成一个新的reducer 。

一些数据处理要求根本不需要排序。Syncsort已使Hadoop中的排序可插入。这是他们关于排序的一个不错的博客。移动从地图制作到减压器数据的过程被称为洗牌，检查该文章针对的相同的信息。

我一直认为这是必要的，因为映射器的输出是化简器的输入，因此根据键空间对它进行排序，然后为每个化简器输入拆分为存储桶。您要确保将所有相同的Key值最终存储到归还到reducer的同一存储桶中，以便将它们一起归约。没有必要将K1，V2和K1，V4发送到不同的异径管，因为它们需要在一起才能被还原。

试图尽可能简单地解释它

改组是将来自映射器的中间数据传输到0.1或多个reducer的过程。每个化简器接收1个或多个键及其关联值，具体取决于化简器的数量（对于平衡负载）。此外，与每个键关联的值在本地进行排序。

MapReduce只能自然地执行两件事：排序和（通过排序实现）可伸缩的GroupBy。

MapReduce上的大多数应用程序和设计模式都是基于这两个操作构建的，这两个操作是由shuffle和sort提供的。

这是一本好书。希望能帮助到你。就您所关心的排序而言，我认为这是针对Map的最后一步中的合并操作。映射操作完成后，需要将结果写入本地磁盘时，将对从缓冲区生成的拆分执行多合并操作。对于合并操作，对每个分区进行高级排序将很有帮助。

好吧，在Mapreduce中有两个重要的短语，称为Mapper和reducer都太重要了，但是Reducer是必需的。在某些程序中，减速器是可选的。现在来问你的问题。改组和排序是Mapreduce中的两个重要操作。第一个Hadoop框架采用结构化/非结构化数据并将数据分为键，值。

现在，Mapper程序将数据分离并将数据整理为要处理的键和值。生成键2和值2的值。该值应按正确的顺序进行处理和重新排列以获得所需的解决方案。现在，此处理和排序已在本地系统中完成（框架要小心），并在流程框架清理本地系统中的数据之后在本地系统中进行处理。好

在这里，我们还使用组合器和分区来优化此混洗和排序过程。经过适当安排，这些关键值将传递给Reducer以获取所需的客户输出。最后，Reducer获得所需的输出。

K1，V1-> K2，V2（我们将编写程序Mapper），-> K2，V'（在这里对数据进行随机排序和软化）-> K3，V3生成输出。K4，V4。

请注意，所有这些步骤仅是逻辑操作，不能更改原始数据。

您的问题：Map Reduce编程中的reducer的改组和排序阶段的目的是什么？

简短答案：处理数据以获得所需的输出。改组聚合数据，减少得到预期的输出。