机器学习算法的预测间隔

我想知道以下所述的过程是否有效/可以接受，并且有任何合理的理由。

想法：监督学习算法不假设数据的基础结构/分布。最终，他们输出点估计。我希望以某种方式量化估计的不确定性。现在，ML模型的建立过程本质上是随机的（例如，在用于超参数调整的交叉验证的采样中以及在随机GBM中的子采样中），因此建模管道将为每个具有不同种子的相同预测变量提供不同的输出。我的想法（天真）是一遍又一遍地运行此过程以得出预测的分布，我希望可以对预测的不确定性做出陈述。

如果重要的话，我使用的数据集通常很小（约200行）。

这有意义吗？

需要说明的是，我实际上并没有按照传统意义引导数据（即，我没有对数据进行重新采样）。每次迭代都使用相同的数据集，我只是利用xval和随机GBM中的随机性。

在我看来，量化预测中的不确定性与其他方法一样好。只需确保在每次引导重采样中从头开始重复所有建模步骤（对于将用于参数调整的GBM）。重新引导重要性排名以量化排名中的不确定性也可能是值得的。

我发现有时间隔不包含实际的预测，尤其是在估计概率时。通常，至少在我处理过的数据中，增加每个终端节点中最少数量的观察值可以解决此问题。

保形预测似乎是量化新数据预测置信度的有用方法。到目前为止，我仅涉及了一些问题，其他人可能更适合对此提出建议。

我对这篇帖子的回复中有一些粗略的R代码，涉及找到GBM预测间隔。

希望这可以帮助！

您可以将预测的不确定性分为“偏差”和“方差”两个术语。偏差项是指模型的规格错误：如果将线性模型拟合为非线性函数，将始终会出现一些误差。“差异”一词是指模型参数估计中的误差。您的方法考虑了不确定性的方差部分，而无法估计偏差。

正如@ErikL所建议的，共形预测是理论上合理的方法，它采用与引导程序非常相似的想法。使用新点重建模型进行的适形预测要同时考虑偏差和方差，而对于回归分析则需要大量的计算资源。您可以使用不符合标准的库在Python中进行尝试。

不，这似乎是个坏主意。首先，正如阿列克谢指出的那样，存在偏差和差异。即使选择最佳参数，也无法避免差异。您的方法甚至没有尝试解决它。还有一个非常重要的问题，模型的某些错误（可能是大多数）是数据中的错误，而不是模型固有的随机性。（更不用说某些模型，例如纯线性回归，根本不是随机的，对于随机模型，随机性因模型而异）

我建议您在一些简单的模拟数据和一些已知的模型上测试您的方法。我确信，由于我所描述的原因，您的估计误差将比实际误差小得多（或者您的分布会窄得多）。

为了估计错误分布，您可以使用良好的旧交叉验证。

我现在正在考虑这个问题。这是我的发现：

（1）Delta方法
（2）自举重采样
（3）贝叶斯方法
（4）均方差估计（MVE）

这个想法试图估计预测可变性的两个来源，即模型参数估计的不确定性和不可减少的误差。

这里有几个参考：

机器学习方法，用于估计模型输出的预测间隔，Durga L. Shrestha，Dimitri P. Solomatine，2006年
神经网络模型的一些误差估计值的比较，Robert Tibshirani，1995年，
《基于神经网络的预测间隔的全面回顾》和《 New进步，阿巴斯·科斯拉维，道格·克赖顿，2011年

希望以上内容对我有帮助，并纠正我上述任何不当行为。我想听听其他人的更多信息。