Questions tagged «apache-flink»

Flink已与Spark进行了比较，在我看来，Spark是错误的比较，因为它将窗口事件处理系统与微批处理进行了比较。同样，将Flink与Samza进行比较对我来说也没有太大意义。在这两种情况下，它都会比较实时事件处理策略和批处理事件处理策略，即使对于Samza而言，其规模较小。但是我想知道Flink与Storm的比较，Storm在概念上看起来与它更相似。 我发现此幻灯片（第4张）将主要区别记录为Flink的“可调延迟”。另一个提示似乎是Slicon Angle的文章，它暗示Flink可以更好地集成到Spark或HadoopMR世界中，但是没有提及或引用任何实际细节。最后，Fabian Hueske本人在一次采访中指出：“与Apache Storm相比，Flink的流分析功能提供了高级API，并使用了更轻量级的容错策略来提供一次精确的处理保证。” 这对我来说有点稀疏，我不太明白这一点。有人可以解释一下Flink完全解决了Storm中流处理的哪些问题吗？API问题及其“更轻量级的容错策略”指的是Hueske指的是什么？

137 apache-storm  apache-flink  flink-streaming 

Apache Beam支持多个运行程序后端，包括Apache Spark和Flink。我熟悉Spark / Flink，并试图了解Beam用于批处理的优点/缺点。 看一下Beam的字数示例，感觉它与本机Spark / Flink等效项非常相似，也许语法稍微冗长。 我目前看不到选择Beam代替Spark / Flink来实现此任务有什么好处。到目前为止，我只能做的观察： 优点：不同执行后端的抽象。 缺点：这种抽象是以降低对Spark / Flink中确切执行的内容的控制为代价的。 是否有更好的示例来突出Beam模型的其他优点/缺点？是否有失去控制如何影响性能的信息？ 请注意，我并不是在要求流传输方面的差异，该问题已部分涵盖在本文中，并在本文中进行了概述（由于Spark 1.X已过时）。

81 apache-spark  apache-flink  apache-beam