8
容器运行超出内存限制
在Hadoop v1中，我为每个7个映射器和reducer插槽分配了1GB的大小，我的映射器和reducer运行良好。我的机器有8G内存，8个处理器。现在使用YARN，当在同一台计算机上运行同一应用程序时，出现容器错误。默认情况下，我有以下设置： <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> 它给了我错误： Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container. 然后，我尝试在mapred-site.xml中设置内存限制： <property> <name>mapreduce.map.memory.mb</name> <value>4096</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> …