我经常处理合理数量的时间序列数据,将50-200百万的倍数与相关的时间戳关联起来,并希望对其进行动态可视化。
是否有现有软件可以有效地做到这一点?库和数据格式如何?缩放缓存是图书馆关注大型时间序列的一个示例。在“缩放缓存”中,数据以几种分辨率汇总,以便更轻松地查看不同分辨率的数据。
编辑:另外,如果还有其他地方我应该问这个问题或寻求答案,请告诉我。
我经常处理合理数量的时间序列数据,将50-200百万的倍数与相关的时间戳关联起来,并希望对其进行动态可视化。
是否有现有软件可以有效地做到这一点?库和数据格式如何?缩放缓存是图书馆关注大型时间序列的一个示例。在“缩放缓存”中,数据以几种分辨率汇总,以便更轻松地查看不同分辨率的数据。
编辑:另外,如果还有其他地方我应该问这个问题或寻求答案,请告诉我。
Answers:
有一组名为TimeSearcher 1--3的研究工具,提供了一些有关如何处理大型时间序列数据集的示例。以下是一些来自TimeSearcher 2和3的示例图像。
抱歉,自助广告非常适合使用Thunderplot(thunderplot.com)。我正是为大型数据集的交互式绘图而编写的。我没有用200KK行的数据集对其进行测试,但是它在〜10KK行的情况下仍然可以正常工作。此外,还具有“每第N行读取”功能,因此您可以减少要存储/可视化的数据量。我可以将注册密钥发送给您,以交换这些大型数据集之一。:-)
另一个自我提倡的职位是因为我在这家公司工作,但是SensorCloud(sensorcloud.com)使用智能算法可以非常快速地绘制大量数据集的图形。它最初设计时考虑了我们的物理传感器,但是它具有CSV上传器来处理任何时间序列数据。
例如,我们上传了一个数据集,该数据集包含1000亿个数据点(超过1 TB的时间戳+数据值),您可以对其进行图形绘制并快速进行交互。
这是该数据集的公共链接:https : //sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/
上面的链接使用了我们的Flash查看器。如果您不想使用Flash,请使用以下JavaScript查看器:https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/
使用滚轮或Shift +左键放大。