Questions tagged «real-time»

我正在处理大量时间序列。这些时间序列基本上是每10分钟进行一次网络测量，其中一些是周期性的（即带宽），而另一些则不是（即路由流量）。 我想要一种用于进行在线“异常值检测”的简单算法。基本上，我想将每个时间序列的整个历史数据保存在内存中（或保存在磁盘上），并且我想检测实时场景中的任何异常值（每次捕获一个新样本）。实现这些结果的最佳方法是什么？ 我目前正在使用移动平均线来消除一些噪音，但是接下来呢？对整个数据集而言，诸如标准差，疯狂……之类的简单事情无法很好地工作（我不能假设时间序列是固定的），我想要更“准确”的东西，最好是一个黑匣子，例如： double outlier_detection（double *向量，double值）; 其中vector是包含历史数据的double数组，返回值是新样本“ value”的异常得分。

88 time-series  outliers  mathematical-statistics  real-time 

我正在分析一些我想执行普通线性回归的数据，但是这是不可能的，因为我正在处理具有连续输入数据流的在线设置（这将很快对于内存变得太大）并且需要消耗参数时更新参数估算值。即我不能只将其全部加载到内存中并对整个数据集执行线性回归。 我假设一个简单的线性多元回归模型，即 y = A x + b + ey=Ax+b+e\mathbf y = \mathbf A\mathbf x + \mathbf b + \mathbf e 创建线性回归参数和的连续更新估计的最佳算法是什么？b一种A\mathbf Abb\mathbf b 理想情况下： 我想要一种算法，每次更新的空间为，时间复杂度最高，其中是自变量（）的维数，是因变量（）。ñ X中号ÿø（Ñ⋅ 中号）O(N⋅M)\mathcal O(N\cdot M)ñNNXx\mathbf x中号MMÿy\mathbf y 我希望能够指定一些参数来确定每个新样本更新多少参数，例如0.000001表示下一个样本将提供参数估计的百万分之一。对于遥远的过去样本，这将产生某种指数衰减。

53 time-series  regression  algorithms  real-time 

这篇文章是另一篇有关时间序列异常检测通用方法的文章的延续。基本上，在这一点上，我感兴趣的是一种鲁棒的方式来发现受大量噪声影响的通用时间序列的周期性/季节性。从开发人员的角度来看，我想要一个简单的界面，例如： unsigned int discover_period(vector<double> v); 其中v包含样本的数组在哪里，返回值是信号的周期。重点是，同样，我无法对所分析的信号做出任何假设。我已经尝试过基于信号自相关（检测相关图的峰值）的方法，但是它并不像我想要的那样健壮。

53 time-series  algorithms  frequency  real-time 

我们需要一个预警系统。我正在处理一台已知在负载下具有性能问题的服务器。错误和时间戳一起记录在数据库中。可以采取一些手动干预的步骤来减少服务器负载，但前提是有人知道该问题... 给定一组错误发生的时间，我如何（实时）识别错误尖峰的开始？我们可以定期或针对每个错误发生进行计算。 我们对偶尔的错误并不关心，但是没有特定的阈值。只要我们在五分钟内遇到三个错误，我就可以通知某人，但我敢肯定有更好的方法... 我希望能够根据系统管理员的反馈来调整算法的敏感性。就目前而言，他们希望它相当敏感，即使我们知道我们可以预期会有一些误报。 我不是统计学家，我敢肯定这是显而易见的，并且使用我们现有的工具（SQL Server和老式的ASP JScript）来实现此操作相对简单。我不是在寻找代码的答案，但是，如果它需要其他软件，则可能对我们不起作用（尽管出于我的好奇心，我欢迎提出不切实际但理想的解决方案作为评论）。

29 time-series  real-time 

我正在研究一种算法，该算法将从多个传感器流中获取最新数据点的向量，并将欧几里德距离与以前的向量进行比较。问题在于，不同的数据流来自完全不同的传感器，因此采用简单的欧几里德距离将大大过分强调某些值。显然，我需要某种方式来规范化数据。但是，由于该算法是设计为实时运行的，因此在规范化过程中，我无法整体使用有关任何数据流的任何信息。到目前为止，我一直在跟踪每个传感器在启动阶段看到的最大值（前500个数据向量），然后将来自该传感器的所有将来数据除以该值。这工作出奇地好，但是感觉很不雅致。 我并没有为找到一个预先存在的算法而感到幸运，但是也许我只是没有在正确的地方寻找。有人知道吗？或有什么想法？我看到一个建议使用移动平均值（可能是由Wellford的算法计算得出的），但是如果我这样做了，那么相同值的多个读数将不会显示为相同，这似乎是一个很大的问题，除非我缺少一些东西。任何想法表示赞赏！谢谢！

12 time-series  normalization  real-time