Questions tagged «yarn»

我试图了解在YARN上运行Spark作业时内核数与执行程序数之间的关系。 测试环境如下： 数据节点数：3 数据节点机器规格： CPU：Core i7-4790（内核数：4，线程数：8） 内存：32GB（8GB x 4） 硬盘：8TB（2TB x 4） 网络：1Gb Spark版本：1.0.0 Hadoop版本：2.4.0（Hortonworks HDP 2.1） Spark作业流程：sc.textFile->过滤器->映射->过滤器-> mapToPair-> reduceByKey->映射-> saveAsTextFile 输入数据 类型：单个文本文件 大小：165GB 线数：454,568,833 输出量 第二个过滤器之后的行数：310,640,717 结果文件的行数：99,848,268 结果文件的大小：41GB 该作业使用以下配置运行： --master yarn-client --executor-memory 19G --executor-cores 7 --num-executors 3 （每个数据节点的执行程序，使用的内核数最多） --master yarn-client --executor-memory 19G --executor-cores 4 --num-executors 3 （减少的内核数） --master yarn-client …

192 hadoop  apache-spark  yarn 

我有一个正在运行的Spark应用程序，该应用程序占据了所有我的其他应用程序都不会分配任何资源的核心。 我做了一些快速研究，有人建议使用YARN kill或/ bin / spark-class终止命令。但是，我正在使用CDH版本，并且/ bin / spark-class甚至根本不存在，YARN kill应用程序也不起作用。 谁能和我一起吗？

101 apache-spark  yarn  pyspark 

在Hadoop v1中，我为每个7个映射器和reducer插槽分配了1GB的大小，我的映射器和reducer运行良好。我的机器有8G内存，8个处理器。现在使用YARN，当在同一台计算机上运行同一应用程序时，出现容器错误。默认情况下，我有以下设置： <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> 它给了我错误： Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container. 然后，我尝试在mapred-site.xml中设置内存限制： <property> <name>mapreduce.map.memory.mb</name> <value>4096</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> …

85 hadoop  mapreduce  yarn  mrv2 

现在，我有一个Hadoop作业，该作业创建了一个非常知名的计数器。 例如，以下之一：stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits。该计数器在Web界面和getName()方法调用上被截断。我发现Hadoop在计数器最大名称上有限制，此设置IDmapreduce.job.counters.counter.name.max用于配置此限制。所以我将其增加到500，Web界面现在显示完整的计数器名称。但是getName()计数器的仍然返回截断的名称。 有人可以解释一下还是指出我的错误？谢谢。 编辑1 我的Hadoop服务器配置由具有HDFS，YARN并在其上进行map-reduce的单个服务器组成。在map-reduce期间，有一些计数器增量，并且在作业完成之后，ToolRunner我使用来获取计数器org.apache.hadoop.mapreduce.Job#getCounters。 编辑2 Hadoop版本如下： Hadoop 2.6.0-cdh5.8.0 Subversion http://github.com/cloudera/hadoop -r 042da8b868a212c843bcbf3594519dd26e816e79 Compiled by jenkins on 2016-07-12T22:55Z Compiled with protoc 2.5.0 From source with checksum 2b6c319ecc19f118d6e1c823175717b5 This command was run using /usr/lib/hadoop/hadoop-common-2.6.0-cdh5.8.0.jar 我进行了一些其他调查，看来此问题描述了与我类似的情况。但这很令人困惑，因为我能够增加计数器的数量，但不能增加计数器名称的长度... 编辑3 今天，我花了很多时间调试Hadoop的内部组件。一些有趣的东西： org.apache.hadoop.mapred.ClientServiceDelegate#getJobCounters方法从TRUNCATED名称和FULL显示名称的yarn返回一堆计数器。 无法调试地图和化简器本身，但在记录的帮助下，该org.apache.hadoop.mapreduce.Counter#getName方法似乎在化简器执行期间正常工作。

79 java  hadoop  mapreduce  yarn 

我是Apache Spark的新手，我刚刚了解到Spark支持三种类型的集群： 独立-意味着Spark将管理自己的集群 YARN-使用Hadoop的YARN资源管理器 Mesos-Apache的专用资源管理器项目 由于我是Spark的新手，所以我认为我应该先尝试Standalone。但是我不知道推荐哪个。说，将来我需要构建一个大型集群（数百个实例），我应该选择哪种集群类型？

76 apache-spark  yarn  mesos  apache-spark-standalone