Questions tagged «apache-spark-standalone»

4
我应该为Spark选择哪种集群类型?
我是Apache Spark的新手,我刚刚了解到Spark支持三种类型的集群: 独立-意味着Spark将管理自己的集群 YARN-使用Hadoop的YARN资源管理器 Mesos-Apache的专用资源管理器项目 由于我是Spark的新手,所以我认为我应该先尝试Standalone。但是我不知道推荐哪个。说,将来我需要构建一个大型集群(数百个实例),我应该选择哪种集群类型?

4
工人,工人实例和执行者之间是什么关系?
在Spark Standalone模式下,存在主节点和工作节点。 这里有几个问题: 2个工作程序实例是否意味着一个具有2个工作程序进程的工作程序节点? 是每个工作实例都拥有一个特定应用程序的执行程序(用于管理存储,任务),还是一个工作节点拥有一个执行程序? 是否有流程图说明spark在运行时如何工作,例如字数统计?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.