R内存管理/无法分配大小为n Mb的向量

我在尝试在R中使用大对象时遇到了问题。例如：

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

我了解这与获取连续内存块（从此处）的难度有关：

开头的错误消息无法分配大小向量，表明获取内存失败，原因是大小超出了进程的地址空间限制，或者更有可能是因为系统无法提供内存。请注意，在32位版本上，可能有足够的可用内存，但没有足够大的连续地址空间将其映射到其中。

我该如何解决？我的主要困难是我在脚本中到达了某个特定点，R无法为一个对象分配200-300 Mb的内存...我无法真正预分配该块，因为我需要用于其他处理的内存。即使我认真删除不需要的对象，也会发生这种情况。

编辑：是的，抱歉：Windows XP SP3、4Gb RAM，R 2.12.0：

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

考虑您是否确实确实需要所有这些数据，还是矩阵可以稀疏？R中Matrix对稀疏矩阵有很好的支持（例如，参见软件包）。

当需要制作这种大小的对象时，请将R中的所有其他进程和对象减到最少。使用gc()清除目前未使用的内存，或者更好的只是你创建一个会话需要的对象。

如果以上方法无济于事，请获取一台具有尽可能多RAM的64位计算机，然后安装64位R。

如果您不能做到这一点，那么有许多在线服务可用于远程计算。

如果您不能做到这一点，那么像包ff（或bigmemorySascha提到的）这样的内存映射工具将帮助您构建新的解决方案。以我有限的经验，ff是更高级的软件包，但是您应该阅读High Performance Computing有关CRAN任务视图的主题。

对于Windows用户，以下内容对我帮助很多了解内存限制：

• 在打开R之前，请打开Windows资源监视器（Ctrl-Alt-Delete /启动任务管理器/“性能”选项卡/单击底部按钮“资源监视器” /“内存”选项卡）
• 您会看到在打开R之前我们已经使用了多少RAM内存，以及哪些应用程序。在我的情况下，总共使用了4 GB中的1.6 GB。因此我只能为R获得2.4 GB，但现在变得更糟了……
• 打开R并创建一个1.5 GB的数据集，然后将其大小减小到0.5 GB，资源监视器显示我的RAM使用率接近95％。
• 用gc()做垃圾回收 =>可以，我可以看到内存使用降到了2 GB

适用于我的机器的其他建议：

• 准备特征，另存为RData文件，关闭R，重新打开R，并加载火车特征。资源管理器通常显示较低的内存使用率，这意味着即使gc（）也无法恢复所有可能的内存，并且关闭/重新打开R最好以最大的可用内存开始。
• 另一个技巧是仅加载训练用的训练集（不加载测试集，通常可能是训练集大小的一半）。训练阶段可以最大程度地使用内存（100％），因此可用的任何东西都是有用的。我正在尝试使用R内存限制时，所有这些都需要花一点盐。

这是有关此主题的演示，您可能会觉得有趣：

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

我还没有尝试过讨论过的事情，但是该bigmemory软件包似乎非常有用

避免此限制的最简单方法是切换到64位R。

我遇到了类似的问题，我使用2个闪存驱动器作为“ ReadyBoost”。这两个驱动器额外增加了8GB的内存（用于缓存），不仅解决了问题，而且还提高了整个系统的速度。要使用Readyboost，请右键单击驱动器，转到属性，然后选择“ ReadyBoost”，然后选择“使用此设备”单选按钮，然后单击“应用”或“确定”进行配置。

我转到memor.limit的帮助页面，发现默认情况下，我的计算机上R最多可以使用约1.5 GB的RAM，并且用户可以增加此限制。使用以下代码，

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

帮助我解决了我的问题。

如果您在Linux环境下运行脚本，则可以使用以下命令：

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

服务器将为您分配请求的内存（根据服务器限制，但如果服务器性能良好，则可以使用hugefiles）

上面提到的保存/加载方法对我有用。我不确定如何/是否gc()整理内存碎片，但这似乎可行。

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")