MapReduce框架是BSP的一种吗?


11

mapReduce框架称为一种批量同步并行编程框架,在两次同步之间的处理器内没有本地内存保留的情况下,是否准确?如果不是,那么哪种并行编程模型最准确地封装了mapReduce框架?


1
这是一个很好的问题!
Suresh Venkat

感谢Suresh,您的想法,同意吗?
杰夫·库比纳

在选择最佳答案方面很难选择,因为我认为它们都帮助我获得了更多关于mapreduce以及其他人如何看待它的知识。我选择了Sasho的答案,因为它使我提出了一篇论文,该论文最能回答我的问题。谢谢大家。
杰夫·库比纳

Answers:



5

是的,我的观点是经典MapReduce是BSP模型(因此,它对可实现的最大并行性能具有固有的局限性)。但是,有关MapReduce的最新工作似乎集中在较宽松的同步概念上,这将使这种“通用MapReduce”脱离严格的BSP框架。特别是,如果复制一些数据,则可以放宽同步结构,从而获得性能提升。

例如,请参见Foto Afrati和Jeff Ullman的著作:EDBT 2010 在地图缩小环境中优化连接。(预印本


2

由于在MapReduce中存在一个简单且结构化的图形作为计算基础,因此可以将IMHO归类为数据流模型。


我同意,MapReduce具有与标记数据流计算机相同的计算策略。雅虎的Pig语言甚至在MapReduce之上构建数据流语言。
牛肉
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.