4 我应该为Spark选择哪种集群类型? 我是Apache Spark的新手,我刚刚了解到Spark支持三种类型的集群: 独立-意味着Spark将管理自己的集群 YARN-使用Hadoop的YARN资源管理器 Mesos-Apache的专用资源管理器项目 由于我是Spark的新手,所以我认为我应该先尝试Standalone。但是我不知道推荐哪个。说,将来我需要构建一个大型集群(数百个实例),我应该选择哪种集群类型? 76 apache-spark yarn mesos apache-spark-standalone
4 工人,工人实例和执行者之间是什么关系? 在Spark Standalone模式下,存在主节点和工作节点。 这里有几个问题: 2个工作程序实例是否意味着一个具有2个工作程序进程的工作程序节点? 是每个工作实例都拥有一个特定应用程序的执行程序(用于管理存储,任务),还是一个工作节点拥有一个执行程序? 是否有流程图说明spark在运行时如何工作,例如字数统计? 72 apache-spark apache-spark-standalone