Questions tagged «kullback-leibler»

考虑贝叶斯后验。渐近地，其最大值出现在MLE估计，这恰好使似然性 argmin最大化。θ∣Xθ∣X\theta\mid Xθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X) 所有这些概念（贝叶斯先验，使可能性最大化）听起来都是超级原则，一点也不随意。看不到日志。 然而，MLE最小化了实分布和之间的KL散度，即，它最小化了f~f~\tilde ffθ(x)fθ(x)f_\theta(x) KL(f~∥fθ)=∫+∞−∞f~(x)[logf~(x)−logfθ(x)]dxKL(f~∥fθ)=∫−∞+∞f~(x)[log⁡f~(x)−log⁡fθ(x)]dx KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx 哇，这些日志是从哪里来的？为什么特别是KL分歧？ 例如，为什么最小化不同的差异与贝叶斯后验的超原则性和积极性概念不相符，而使上述可能性最大化呢？ 在这种情况下，KL散度和/或对数似乎有一些特殊之处。当然，我们可以举手示意这就是数学。但是我怀疑可能会有更深刻的直觉或发现的联系。

9 bayesian  maximum-likelihood  kullback-leibler 

总体稳定性指数通过比较两个时间段内的数据样本来量化变量分布的变化。它非常常用于衡量分数变化。 计算方法如下： 1）离散基期的样本。通常将其分为十分位数 2）使用与第一步相同的时间间隔将目标期间的样本离散化 其中： -在基准期间中第i个bin的份额。 -目标时段中第i个bin的份额。 P小号一世=∑一世（一个一世-乙一世）⋅ 升Ñ （一个一世乙一世）P小号一世=∑一世（一个一世-乙一世）⋅升ñ（一个一世乙一世）PSI = \sum_{i} (A_{i} - B_{i}) \cdot ln(\frac{A_{i}}{B_{i}}) 一个一世一个一世A_{i}乙一世乙一世B_{i} 问题：当目标样本中的一个容器为空时，该怎么办？

9 distributions  kullback-leibler