基于交叉验证（CV）的预测间隔

在课本和youtube讲座中，我学到了很多关于诸如boosting之类的迭代模型的知识，但是我从未见过关于推导预测间隔的任何知识。

交叉验证用于以下目的：

• 型号选择：尝试不同的型号，然后选择最合适的型号。如果是升压，请使用CV选择调整参数。
• 模型评估：估算所选模型的性能

几个参数对于模型评估很重要，其中之一是预期的预测误差。交叉验证可以很好地估计预测误差，正如《统计学习的要素》一书中所述。

但是，我们如何使用预期的预测误差来建立预测间隔？

例如，如果您预测房屋价格，则500.000欧元房屋的预测间隔将比200.000欧元房屋的预测间隔高。我们如何使用交叉验证来估计这些预测间隔？

在再次阅读了这个问题之后，我可以给您以下界限：

假定样品绘制IID，分配是固定的，并且损耗为界，然后用概率至少1 - δ， ë [ È（ħ ）] ≤ È（ħ ）+ 乙$B$$1 - \delta$

其中，是样本大小，1 - δ是置信度。麦克迪亚米德的不等式微不足道。$m$$1-\delta$

为样本大小， ë [ È（ħ ）]是泛化误差，和 È（ħ ）为假设的测试错误。$m$$\mathbb{E}[\mathcal{E}(h)]$$\hat{\mathcal{E}}(h)$

请不要仅报告交叉验证错误，也不报告测试错误，因为它们只是点估计，所以它们通常没有意义。

记录的旧帖子：

我不确定我是否完全理解您的问题，但是我会采取行动。

首先，我不确定如何为模型选择定义预测间隔，因为据我所知，预测间隔会做出一些分布假设。取而代之的是，您可以得出浓度不等式，该浓度不等式实际上是由随机变量的方差来限制的。在整个机器学习过程中都使用了浓度不等式，其中包括高级理论。在这种情况下，您要用经验误差（测试集上的误差）加上一些复杂度项和一个与方差有关的项来限制泛化误差（通常来说，您没有看到的误差）。

现在，我需要消除对交叉验证的误解，这种误解是非常普遍的。交叉验证只会为您提供针对固定样本大小的模型预期误差的无偏估计。此证明仅适用于遗忘协议。这实际上是相当弱的，因为它没有提供有关方差的信息。另一方面，交叉验证将返回与结构风险最小化解决方案接近的模型，这是理论上最好的解决方案。您可以在以下附录中找到证明：http : //www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

那么，如何得出一个泛化界呢？（记住泛化界限基本上是关于特定模型的泛化误差的预测间隔）。好吧，这些界限是特定于算法的。不幸的是，只有一本教科书为机器学习（包括加速）中所有常用算法设定了界限。该书是Mohri，Rostamizadeh和Talwalkar撰写的《机器学习基础》（2012年）。对于涵盖该材料的讲座幻灯片，您可以在Mohri的网页上找到它们：http : //www.cs.nyu.edu/~mohri/ml14/

尽管《统计学习的元素》是一本重要且颇有帮助的书，但它并不十分严格，它省略了有关算法的许多非常重要的技术细节，并完全省略了任何形式的概括界限。《机器学习的基础》是一本关于机器学习的最全面的书（这看起来是有道理的，因为它是由该领域的一些顶尖人士撰写的）。但是，教科书是高级的，因此请提防技术细节。

可以在此处找到（带有证明）促进提升的概括：http : //www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

我希望这些足以回答您的问题。我不愿给出完整的答案，因为它将花费大约50页才能浏览所有必要的细节，更不用说初步讨论了。

祝好运！