Questions tagged «information-geometry»

4
边缘情况下精度和召回率的正确值是多少？
精度定义为： p = true positives / (true positives + false positives) 对不对，作为true positives和false positives做法0，精度接近1？ 召回相同的问题： r = true positives / (true positives + false negatives) 我目前正在实施统计测试，需要计算这些值，有时分母为0，我想知道在这种情况下应返回哪个值。 PS：请原谅，不恰当的标签，我想用recall，precision和limit，但我不能创造新的标签呢。
20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 
4
关于KL分歧有疑问吗？
我正在用KL散度比较两个分布，这给我返回了一个非标准化数字，根据我对这一度量的了解，该数字是将一种假设转换为另一种假设所需的信息量。我有两个问题： a）有没有一种方法可以量化KL散度，使其具有更有意义的解释，例如像效应大小或R ^ 2？任何形式的标准化？ b）在R中，使用KLdiv（flexmix软件包）时，可以设置“ esp”值（标准esp = 1e-4），该值将所有小于esp的点设置为某个标准，以提供数值稳定性。我一直在使用不同的esp值，并且对于我的数据集，我选择的数字越小，KL散度就越来越大。到底是怎么回事？我希望esp越小，结果应该越可靠，因为它们会让更多的“真实值”成为统计数据的一部分。没有？我必须更改esp，因为否则它不会计算统计信息，而只会在结果表中显示为NA ...
3
使用信息几何来定义距离和体积……有用吗？
我遇到了大量文献，他们主张将Fisher信息量度作为概率分布空间中的自然局部量度，然后对其进行积分以定义距离和体积。 但是这些“综合”数量实际上对任何事情都有用吗？我没有找到任何理论依据，也没有实际应用。一个是Guy Lebanon的作品，他使用“费舍尔的距离”对文档进行分类，另一个是罗德里格斯的“ 模型选择 ” ABC…其中“费舍尔的体积”用于模型选择。显然，使用“信息量”相对于AIC和BIC进行模型选择具有“数量级”的改进，但是我没有看到有关该工作的任何后续报道。 理论上的证明可能是拥有一个泛化边界，该泛化边界使用距离或体积的这种度量，并且比从MDL或渐近参数得出的边界更好，或者有一种依赖于这些数量之一的方法在某些合理的实际情况下可证明是更好的任何这种结果？
1
Fisher信息的决定因素
（我在math.se上发布了类似的问题。） 在信息几何中，Fisher信息矩阵的行列式是统计流形上的自然体积形式，因此它具有很好的几何解释。例如，它出现在Jeffreys先验的定义中的事实与其在重新参数化下的不变性相关，这是（imho）几何性质。 但是统计中的决定因素是什么？它衡量任何有意义的东西吗？（例如，我想说的是如果它为零，那么参数不是独立的。这会进一步吗？） 此外，至少在某些“简单”情况下，是否有任何封闭的形式可以计算出来？
2
统计数据的图形直观
在这篇文章中，您可以阅读以下声明： 模型通常由有限维流形上的点表示。θθ\theta 在迈克尔·K·默里和约翰·赖斯的《微分几何与统计》中，这些概念以散文可读的方式进行了解释，甚至忽略了数学表达式。不幸的是，很少有插图。MathOverflow上的帖子也是如此。 我想寻求视觉表示的帮助，以作为对主题进行更正式理解的地图或动机。 歧管上有什么要点？此在线查找中的引号似乎表明它可以是数据点，也可以是分布参数： 流形和信息几何的统计是差分几何满足统计的两种不同方式。在流形统计中，数据位于流形上，而在信息几何中，数据位于RnRnR^n，但是将感兴趣的概率密度函数的参数化族视为流形。这样的流形被称为统计流形。 我画这个图由切空间的这种解释的启发在这里： [ 编辑以反映以下有关的评论：C∞C∞C^\infty ]在流形，切线空间是与相关的点上所有可能的导数（“速度”）的集合。流经的流形上的所有可能曲线这可以看作是从每条曲线穿过一组映射即定义为组成，用表示曲线（从实线到歧管表面的函数(M)(M)(\mathcal M)p∈Mp∈Mp\in \mathcal M(ψ:R→M)(ψ:R→M)(\psi: \mathbb R \to \mathcal M)p.p.p.p,p,p,C∞(t)→R,C∞(t)→R,C^\infty (t)\to \mathbb R,(f∘ψ)′(t)(f∘ψ)′(t)\left(f \circ \psi \right )'(t)ψψ\psiMM\mathcal M）穿过点并在上图中以红色表示；和表示一个测试功能。“ iso- ”白色轮廓线映射到实线上的同一点，并围绕点。p,p,p,˚F pf,f,f,fffppp 等价（或施加到统计等价中的一个）进行了讨论这里，和将涉及以下引用： 如果指数族的参数空间包含维开放集，则称其为满秩。sss 不是满秩的指数族通常被称为弯曲指数族，因为通常参数空间是维度小于的曲线小号。RsRs\mathcal R^ss.s.s. 这似乎使得对图的解释如下：分布参数（在这种情况下是指数分布族）位于流形上。在秩不足的非线性优化问题的情况下，的数据点将通过函数映射到流形上的一条线。这将与物理学中的速度计算并行：沿着“ iso-f”线的梯度寻找函数的导数（橙色的方向导数）：函数将起到优化分布参数选择的作用，如曲线 ψ ：- [R → 中号 ˚F （˚F ○ ψ ） '（吨）。˚F ：中号 → [R ψ …
1
澄清信息几何
此问题与Amari撰写的《弯曲指数家庭的微分几何-曲率和信息损失》有关。 全文如下。 令是具有坐标系统的维概率分布流形，其中假设 ...Sn={pθ}Sn={pθ}S^n=\{p_{\theta}\}nnnθ=(θ1,…,θn)θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)pθ(x)>0pθ(x)>0p_{\theta}(x)>0 我们可以把每一个点的作为承载功能的 ...θθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxx 让是切空间在，这一点，粗略地说，有一小附近的线性化版本标识在。令是与协调系统关联的的自然基础...TθTθT_{\theta}SnSnS^nθθ\thetaθθ\thetaSnSnS^nei(θ),i=1,…,nei(θ),i=1,…,ne_i(\theta), i=1,\dots,nTθTθT_{\theta} 由于每个点的携带功能的，很自然地认为在作为表示函数θθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxxei(θ)ei(θ)e_i(\theta)θθ\thetaei(θ)=∂∂θilogpθ(x).ei(θ)=∂∂θilog⁡pθ(x).e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x). 我不明白最后的陈述。这出现在上述论文的第2节中。上式如何给出切线空间的基础？如果该社区中熟悉此类材料的某人可以帮助我理解这一点，将会很有帮助。谢谢。 更新1： 尽管我同意（来自@aginensky），如果是线性独立的，则由于它们也是线性独立的，所以这些切线空间的成员首先是如何的还不是很清楚。因此如何将视为切线空间的基础。任何帮助表示赞赏。∂∂θipθ∂∂θipθ\frac{\partial}{\partial\theta_i}p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta} 更新2： @aginensky：Amari在他的书中说： 让我们考虑以下情况：，上所有（严格）正概率度量的集合，其中我们将视为。实际上，是仿射空间一个开放子集。Sn=P(X)Sn=P(X)S^n=\mathcal{P}(\mathcal{X})X={x0,…,xn}X={x0,…,xn}\mathcal{X}=\{x_0,\dots,x_n\}P(X)P(X)\mathcal{P}(\mathcal{X})RX={X∣∣X:X→R}RX={X|X:X→R}\mathbb{R}^{\mathcal{X}}=\{X\big|X:\mathcal{X}\to \mathbb{R}\}P(X)P(X)\mathcal{P}(\mathcal{X}){X∣∣∑xX(x)=1}{X|∑xX(x)=1}\{X\big |\sum_x X(x)=1\} 然后切空间的每一点可以自然地与所确定的线性子空间。对于coordiante系统的自然基础，我们有。Tp(Sn)Tp(Sn)T_p(S^n)SnSnS^nA0={X∣∣∑xX(x)=0}A0={X|∑xX(x)=0}\mathcal{A}_0=\{X\big |\sum_x X(x)=0\}∂∂θi∂∂θi\frac{\partial}{\partial\theta_i}θ=(θ1,…,θn)θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)(∂∂θi)θ=∂∂θipθ(∂∂θi)θ=∂∂θipθ(\frac{\partial}{\partial\theta_i})_{\theta}=\frac{\partial}{\partial\theta_i}p_{\theta} 接下来，就让我们再嵌入，并确定与该亚群的。的切线矢量然后通过操作的结果表示到，我们通过表示。特别是，我们有。显然和 p↦logpp↦log⁡pp\mapsto \log pSnSnS^nlogSn:={logp∣∣p∈Sn}log⁡Sn:={log⁡p|p∈Sn}\log S^n:=\{\log p\big |p\in S^n\}RXRX\mathbb{R}^{\mathcal{X}}X∈Tp(Sn)X∈Tp(Sn)X\in T_p(S^n)XXXp↦logpp↦log⁡pp\mapsto \log pX(e)X(e)X^{(e)}(∂∂θi)(e)θ=∂∂θilogpθ(∂∂θi)θ(e)=∂∂θilog⁡pθ(\frac{\partial}{\partial\theta_i})_{\theta}^{(e)}=\frac{\partial}{\partial\theta_i}\log p_{\theta}X(e)=X(x)/p(x)X(e)=X(x)/p(x)X^{(e)}=X(x)/p(x)T(e)p(Sn)={X(e)∣∣X∈Tp(Sn)}={A∈RX∣∣∑xA(x)p(x)=0}.Tp(e)(Sn)={X(e)|X∈Tp(Sn)}={A∈RX|∑xA(x)p(x)=0}.T_p^{(e)}(S^n)=\{X^{(e)}\big |X\in T_p(S^n)\}=\{A\in \mathbb{R}^{\mathcal{X}}\big |\sum_x A(x)p(x)=0\}. 我的问题：如果和都是切线空间的基础，那么这不会与事实和是不同的和？∂∂θi∂∂θi\frac{\partial}{\partial\theta_i}(∂∂θi)(e)(∂∂θi)(e)(\frac{\partial}{\partial\theta_i})^{(e)}TpTpT_pT(e)pTp(e)T_p^{(e)}∂∂θi(e)∈T(e)p∂∂θi(e)∈Tp(e)\frac{\partial}{\partial\theta_i}^{(e)}\in T_p^{(e)} 我猜想（）和之间似乎存在关联。如果您可以澄清这一点，将有很大帮助。您可以给出答案。Sn,TpSn,TpS^n,T_p(logSn,T(e)p)(log⁡Sn,Tp(e))(\log S^n,T_p^{(e)})
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.