革命性的数据挖掘新方式？

以下摘录来自施瓦格的对冲基金市场风云作者（2012年5月），这是对一贯成功的对冲基金经理贾夫里·伍德里夫（Jaffray Woodriff）的采访：

问一个问题：“人们在数据挖掘中会犯哪些最严重的错误？”：

许多人认为他们还可以，因为他们使用样本内数据进行训练，而使用样本外数据进行测试。然后，他们根据对样本内数据的执行方式对模型进行排序，并选择最佳模型对样本外数据进行测试。人类的趋势是采用在样本外数据中继续表现良好的模型，然后选择那些模型进行交易。这种类型的过程只是将样本外数据转换为训练数据的一部分，因为它挑选了在样本外期间效果最好的模型。这是人们最常见的错误之一，也是通常应用数据挖掘产生可怕结果的原因之一。

然后，面试官问：“您应该怎么做？”：

您可以寻找平均而言所有样本外模型都能正常运行的模式。您知道，如果样本外模型的平均值占样本内分数的很大百分比，则您做得很好。一般而言，如果样本外结果超过样本内结果的50％，您的确可以得到帮助。如果SAS和IBM正在构建出色的预测建模软件，则QIM的业务模型将永远无法运作。

我的问题
这有意义吗？他什么意思？您是否有线索-甚至可能是提议方法的名称和一些参考资料？还是这个人找到了其他人都无法理解的圣杯？他甚至在这次采访中说，他的方法有可能彻底改变科学。

这有意义吗？部分地。

他什么意思？请问他。

您是否有线索-甚至可能是提议方法的名称和一些参考资料？

交叉验证。http://en.wikipedia.org/wiki/Cross-validation_（统计信息）

还是这个人找到了其他人都无法理解的圣杯？没有。

他甚至在这次采访中说，他的方法可能会彻底改变科学……也许他忘记了包括该陈述的参考文献……

不知道是否还会有其他“保证”响应，但这是我的。

交叉验证绝不是“新的”。此外，找到分析解决方案时不使用交叉验证。例如，您不使用交叉验证来估算beta，而是使用OLS或IRLS或其他“最佳”解决方案。

我在报价中看到的明显明显的空白是没有任何实际检查“最佳”模型以了解它们是否有意义的概念。通常，良好的模型在某种程度上可以说是有意义的。似乎声称CV是所有预测问题的灵丹妙药。在更高级别的模型结构上也没有设置的争议 -我们是否使用SVM，回归树，Boosting，Bagging，OLS，GLMS，GLMNS。我们是否对变量进行正则化？如果可以，怎么办？我们是否将变量分组在一起？我们是否希望稀疏性强健？我们有离群值吗？我们应该对数据进行整体还是分段建模？基于简历的方法太多，无法确定。

另一个重要方面是可以使用哪些计算机系统？数据如何存储和处理？是否有失踪者-我们该如何解决？

最重要的是：我们是否有足够的数据来做出正确的预测？我们的数据集中没有已知变量吗？我们的数据能代表我们要预测的一切吗？

$K$$K-2$折叠数据而相关的。

此外，我个人还没有看到在计算机密集型CV和较便宜的方法（如REML或Variational Bayes）之间进行权衡的比较。花费额外的计算时间，我们能得到什么呢？似乎CV在“小型$n$$p$$n$$p$$n$$p$

他对数据挖掘中常见错误的解释似乎是明智的。他对自己所做的事情的解释没有任何意义。当他说“通常来说，如果样本外结果超过样本内50％的话，您真的可以到达某个位置”是什么意思？然后糟糕的SAS和IBM也不会让他看起来很聪明。人们可以在不了解统计数据的情况下在市场上取得成功，而成功的一部分就是运气。将成功的商人当作预测专家是错误的。

您可以寻找模式，在这些模式下，平均而言，所有样本外模型都可以继续保持良好状态。

我对单词模式的理解这里是，他表示不同的市场条件。天真的方法将分析所有可用数据（我们都知道更多的数据会更好），以训练最佳的曲线拟合模型，然后对所有数据运行它，并一直进行交易。

比较成功的对冲基金经理和算法交易员使用他们的市场知识。作为一个具体示例，交易时段的前半小时可能会更加不稳定。因此，他们将在所有前半小时的所有数据上以及所有数据（不包括前半小时）的所有数据上尝试模型。他们可能会发现，他们的两个模型在前半小时表现良好，但是其中八个却亏本了。而当他们排除前半小时时，他们的七个模型可以赚钱，三个模型可以亏钱。

但是，他们说，与其采用这两个获胜的模型并在交易的前半小时使用它们，不如说这对算法交易来说是糟糕的一天，我们根本不会进行交易。其余的时间，他们将使用他们的七个模型。也就是说，在那个时候，使用机器学习似乎更容易预测市场，因此这些模型在未来具有更大的可靠性。（一天中的时间并不是唯一的模式；其他时间通常与新闻事件有关，例如，在宣布关键经济数据之前，市场更加动荡。）

那是我对他在说什么的解释；这可能是完全错误的，但我希望它仍然是有益于某些人思考的食物。

作为金融专业人士，我了解足够多的上下文，因此该声明没有任何歧义。金融时间序列通常具有制度变更，结构中断和概念漂移的特征，因此，在其他行业中进行的交叉验证在金融应用中并不那么成功。在第二部分中，他指的是一种财务指标，不是夏普比率的投资回报率（分子的回报率），不是MSE或其他损失函数。如果样本内策略产生10％的回报，那么在实际交易中，它实际上可能只产生5％。“革命性”部分肯定是关于他专有的分析方法的，而不是引号。