简单存储数据以在R中进行统计分析的最佳方法

一段时间以来，我一直在使用文本文件来存储我的R数据。但是对于最近的项目，文件的大小太大了，原始文本文件无法处理。最好的简单替代方法是什么？

标准R方法是使用save和load。如果save在导入和注释后在数据框上运行，则可以指定它，compress=TRUE并且压缩和快速的load时间会让您感到惊讶。如果对象大小小于约400MB，则效果特别好。否则，请查看上面的一些建议或ffR中的强大软件包。

该Hmisc包装几乎没有包装纸Save，Load可以使上面的包装更轻松：

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

看一下SQLite3数据库。每个数据库都是一个文件，因此不需要设置数据库服务器。

创建数据库：

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

与R配合使用，https://gist.github.com/lynaghk/1062939

有许多通用选项。

• 您可以压缩文本。
• 您可以在文本上输入二进制文件，而不用ascii编写

大压缩取决于数据。

我的猜测（并且您没有指定，所以我必须猜测）是，您希望将类似电子表格的数据存储在csv（逗号分隔）以外的其他内容中。

我最喜欢的格式之一（我爱MatLab）是hdf。

以下是有关HDF的R相关信息：

• 通过软件包hdf5，h5r，Bioconductor的rhdf5，RNetCDF，ncdf和ncdf4访问
• http://www.hdfgroup.org/HDF5/whatishdf5.html

它是一种高密度超级计算数据存储格式。它可以非常快速和高效。它也比压缩文本更密集（毫不奇怪）。

R中的标准文件读取功能现在将自动轻松读取压缩文件。因此，只需对数据运行简单的gzip压缩并像往常一样读取纯文本即可。

read.table('myfile.gz')