输入和输出numpy数组到h5py

我有一个Python代码，其输出为大小矩阵，其条目均为type float。如果使用扩展名保存，.dat则文件大小约为500 MB。我读到使用h5py会大大减少文件大小。因此，假设我有一个名为的2D numpy数组A。如何将其保存到h5py文件？另外，由于需要对数组进行操作，如何读取相同文件并将其作为numpy数组放入不同的代码中？

h5py提供了一个数据集和组模型。前者基本上是数组，而后者可以视为目录。每个都被命名。您应该查看API的文档和示例：

http://docs.h5py.org/en/latest/quick.html

一个简单的示例，其中您要先创建所有数据，然后只想将其保存到hdf5文件，如下所示：

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

然后，您可以使用以下命令将数据加载回：

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

绝对看看文档：

http://docs.h5py.org

写入hdf5文件取决于h5py或pytables（每个文件都具有位于hdf5文件规范之上的不同python API）。您还应该看看numpy本机提供的其他简单二进制格式，例如np.save，np.savez等等：

http://docs.scipy.org/doc/numpy/reference/routines.io.html

处理文件打开/关闭并避免内存泄漏的更干净的方法：

准备：

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

写：

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

读：

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]