确定来自连续分布的最佳数据离散化

假设您有一个数据集$Y_{1}, ..., Y_{n}$从连续分布密度$p(y)$支撑在$[0,1]$是未知的，但$n$是相当大，使得核密度（例如）估计$\hat{p}(y)$，是相当准确的。用于特定应用的需要我所观察到的数据变换为有限数量的类别，以产生一个新的数据集的$Z_{1}, ..., Z_{n}$隐含质量函数$g(z)$。

一个简单的例子是$Z_{i} = 0$时$Y_{i} \leq 1/2$和$Z_{i} = 1$时$Y_{i} > 1/2$。在这种情况下，诱导质量函数为

$$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$$

这里的两个“调整参数”是组的数量$m$和阈值λ的$(m-1)$长度向量。表示由感应质量函数克米，λ（ÿ ）。$\lambda$$\hat{g}_{m,\lambda}(y)$

我想一个过程，它的答案，例如“什么是最好的选择因此，增加组数米+ 1（并选择最优的λ那里）将产生一个可以忽略不计的改进？”。我觉得也许可以创建一个检验统计量（也许与KL散度的差异或类似的差异），并得出其分布。有什么想法或相关文献吗？$m, \lambda$$m+1$$\lambda$

编辑：我有一个连续变量的时间测量均匀分布，并且正在使用不均匀的马尔可夫链来建模时间依赖性。坦白说，离散状态的马尔可夫链更容易处理，这就是我的动机。观察数据为百分比。我目前正在使用临时离散化，这对我来说看起来非常好，但是我认为这是一个有趣的问题，可以采用正式（通用）解决方案。

编辑2：实际上，将KL差异最小化就等于根本不离散化数据，因此该想法已被完全排除。我已经相应地编辑了正文。

我将分享一段时间前针对此问题提出的解决方案-这不是正式的统计测试，但可能会提供有用的启发式方法。

---

$Y_{1}, Y_{2}, ..., Y_{n}$$[0,1]$$m$$0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

$Y_{i}$$Z_{i}(m, {\boldsymbol \lambda})$${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$$Y_{i}$$m, {\boldsymbol \lambda}$

$$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$$

如果通过量化，则给定的分类可以成功地生成同质的组。 ，我们追求的是简约的分组赋予在变化的最到。术语特别是，我们希望选择 以便通过添加其他级别而不会显着增加组内同质性。因此，我们将固定值的最优定义为$E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$$Y_{i}$${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$$m$${\boldsymbol \lambda}$$m$

$$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$$

确定选择哪种合适的粗略诊断方法是查看作为的函数-该轨迹是单调非递增的，并且在急剧减小之后，您会发现通过包含更多类别而获得的精度相对较低。这种启发式方法在本质上是类似的，有时有时使用“ Scree图 ”来查看有多少主要成分解释了变化的“足够”。È （ v 一个[R （ÿ 我 | ž 我（米，λ ⋆ 米）））$m$$E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$$m$