将HDF5用于大型阵列存储（而不是平面二进制文件）是否具有分析速度或内存使用优势？
我正在处理大型3D阵列，通常需要以各种方式对其进行切片以进行各种数据分析。一个典型的“立方体”可以达到〜100GB（将来可能会更大） 似乎对于python中的大型数据集，通常推荐的文件格式是使用HDF5（h5py或pytables）。我的问题是：使用HDF5来存储和分析这些多维数据集，而不是将它们存储在简单的平面二进制文件中，对速度或内存使用有好处吗？HDF5是否更适合表格数据，而不是像我正在使用的大型数组？我看到HDF5可以提供很好的压缩，但是我对处理速度和处理内存溢出更感兴趣。 我经常只想分析多维数据集的一个大子集。pytables和h5py的一个缺点似乎是，当我对数组进行切片时，我总是得到一个numpy数组，占用了内存。但是，如果我对平面二进制文件的numpy内存映射进行切片，则可以获得一个视图，该视图将数据保留在磁盘上。因此，看来我可以更轻松地分析数据的特定扇区，而不会耗尽内存。 我已经浏览了pytables和h5py，到目前为止，还没有看到两者对我的好处。