压缩浮点数据

是否有专门设计用于压缩浮点科学数据的工具？

如果函数是平滑的，则表示该函数的数字之间显然存在很多相关性，因此数据应压缩得很好。压缩/压缩二进制浮点数据并不能很好地压缩它。我想知道是否有专门开发的用于压缩浮点数据的方法。

要求：

• 无损压缩或指定保留最小位数的可能性（对于某些应用程序double可能超出我们的需求，而float精度可能不够高）。

• 经过良好测试的工作工具（即不仅仅是描述理论方法的论文）。

• 适用于压缩一维数字数据（例如时间序列）

• 跨平台（必须在Windows上运行）

• 它必须快 ---最好不慢于gzip。我发现如果我将数字存储为ASCII，则对该文件进行gzip压缩可以加快读取和处理该文件的速度（因为该操作可能受I / O限制）。

我特别想听听实际使用过这种工具的人们的意见。

尝试Blosc。在许多情况下，它比内存复制更快。这点考虑一下吧。。。邪恶。

它是超级稳定，经过高度审查的跨平台的，并且表现出色。

使用HDF5及其GZIP过滤器，我得到了很好的结果。

HDF5还提供了一个SZIP滤波器，对于某些科学数据集，它可以获得更好的结果。

以我的经验，压缩的选择在很大程度上取决于数据的类型，基准测试可能是做出正确选择的唯一方法。

BTW，用于HDF5 的第三方过滤器包括BLOSC，BZIP2，LZO，LZF，MAFISC。

$[-1,1]$

根据基础函数的不同，您也许可以将数据拟合为函数形式而不会出错，与描述数据点相比，描述函数形式所需的系数要少一些（导致压缩）。这些方法中的一些存在错误结果，尽管我不知道它们中的任何一个是否可以为您提供关于错误的先验（或后验）界限或估计。

您还可以查看专门为压缩浮点数而开发的方法，例如FPC和相关算法。见文章在这里，这里，这里，这里，并在这里，包含旧的源代码网页一起在这里。

HDF5可以使用“改组”算法，其中重新排列N个浮点数的字节，以使N个数的第一个字节排在最前面，然后是第二个，依此类推。在应用gzip之后，这会产生更好的压缩率，因为它更有可能产生相同值的更长序列。有关某些基准，请参见此处。

SZ（由Argonne在2016年开发）可能是一个不错的选择。

SZ：用于科学应用的快速错误边界浮点数据压缩器 https://collab.cels.anl.gov/display/ESR/SZ

可以用于浮点压缩的可能方法：

• 浮点数的转置4xN和double + lz77的转置4xN
  实现：TurboTranspose中的浮点压缩
  另请参见错误边界有损压缩

• 预测变量（例如有限上下文方法）+编码（例如“整数压缩”）。
  实现：TurboPFor中的浮点压缩，
  包括时间序列的特殊压缩。

• 如果可能，将所有浮点数转换为整数（例如1.63-> 163），然后使用整数压缩

• 您可以使用适用 于Linux和Windows 的icapp工具将所有这些方法与数据一起测试。

我们一直在将ZFP和HDF5用于我们的医学成像数据。它用于有损浮点压缩。

我们几乎在所有内容上都运行它，并存储（正在使用！）超过40TB的数据。它足够快以实时保存数据，并且我们可以指定所需的精度，因此尽管格式有损，但最终输出中没有任何差异。

如果函数是平滑的，则表示该函数的数字之间显然存在很多相关性，因此数据应压缩得很好。

也许您需要的格式仅需要存储从值到相邻值的偏移量。

或者，也许您可​​以利用频域，甚至可以将这些值保存为无损音频文件，例如“ flac lossless”，因为您需要声音具有某些相同的属性。

但是，我将采取另一种方法来尝试回答这个问题，希望对您有所帮助。就像您所说的，表示此数据的最小描述长度还小于提供所有数据点的长度。

https://en.wikipedia.org/wiki/Minimum_description_length

实际上，程序（计算机代码）就是一个很好的例子。而且，如果您不介意主要是通过执行来工作的数据，也可以是代码，那么您可以将浮点值压缩为诸如函数或公式之类的东西。

自动地并且以现实的计算量做到这一点特别困难。但是，Wolfram语言提供了一些尝试此功能的功能：

https://reference.wolfram.com/language/ref/FindSequenceFunction.html https://reference.wolfram.com/language/ref/FindGeneratingFunction.html https://reference.wolfram.com/language/ref/FindFormula。 html

https://reference.wolfram.com/language/ref/RSolve.html

为什么不只保存float32 / float16？在numpy中

A.astype( np.float32 )  # 100M: 200 msec imac
A.astype( np.float16 )  # 100M: 700 msec

如果您要在混沌理论中模拟蝴蝶效应，这些功能将无法实现 ，但是它们是可以理解的，可移植的，“不需要我做任何工作”。而float64上的2：1/4：1压缩是很难击败的:)

笔记：

“ np.linalg中不支持数组类型float16”；读入后，必须将其扩展为32或64。

要查看浮点参数有何不同，

import numpy as np
for f in [np.float64, np.float32, np.float16]:
    print np.finfo(f)

有关比较浮点数64 32和16的简单测试用例的图表，请参见 此处。