在校准概率模型时如何选择最佳箱宽？

背景：这里有一些很棒的问题/答案，如何校准可预测结果发生概率的模型。例如

1. Brier分数，并将其分解为分辨率，不确定性和可靠性。
2. 标定图和等渗回归。

这些方法通常需要对预测的概率使用分箱方法，以便通过取平均结果在分箱上使结果（0，1）的行为平滑。

问题： 但是，我找不到任何有关如何选择纸槽宽度的信息。

问题：如何选择最佳纸槽宽度？

尝试：正在使用的两种常见的料箱宽度似乎是：

1. 等宽合并，例如10个合并，每个合并覆盖间隔[0，1]的10％。
2. Tukey的分箱方法在这里讨论。

但是，如果有兴趣在预测概率最不正确的区间中找到间隔，那么这些垃圾箱的选择是否是最佳选择？

最终，使用分箱的任何统计方法都被视为过时的。自1990年代中期以来，连续校准曲线估算一直很普遍。常用的方法是黄土（关闭异常值检测），线性逻辑校正和样条逻辑校正。我将在《回归建模策略》一书和课程笔记中对此进行详细介绍。参见http://www.fharrell.com/p/blog-page.html。rms使用独立的外部样本或使用原始模型开发样本上的引导程序，R 软件包可轻松获得平滑的非参数校准曲线。

以我的经验，分箱对于可视化概率分布是有好处的，但如果要用于统计检验和/或参数推断，通常是个坏主意。主要是因为人们立即通过箱宽限制精度。另一个常见的问题是，变量未绑定时，即必须引入低和高截止值。

使用Kolmogorov-Smirnov精神进行累积分布工作可以避免许多此类问题。在这种情况下，还有许多可用的良好统计方法。（例如，参见https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test）