统计数据的图形直观

在这篇文章中，您可以阅读以下声明：

模型通常由有限维流形上的点表示。$\theta$

在迈克尔·K·默里和约翰·赖斯的《微分几何与统计》中，这些概念以散文可读的方式进行了解释，甚至忽略了数学表达式。不幸的是，很少有插图。MathOverflow上的帖子也是如此。

我想寻求视觉表示的帮助，以作为对主题进行更正式理解的地图或动机。

歧管上有什么要点？此在线查找中的引号似乎表明它可以是数据点，也可以是分布参数：

流形和信息几何的统计是差分几何满足统计的两种不同方式。在流形统计中，数据位于流形上，而在信息几何中，数据位于$R^n$，但是将感兴趣的概率密度函数的参数化族视为流形。这样的流形被称为统计流形。

---

我画这个图由切空间的这种解释的启发在这里：

[ 编辑以反映以下有关的评论：$C^\infty$ ]在流形，切线空间是与相关的点上所有可能的导数（“速度”）的集合。流经的流形上的所有可能曲线这可以看作是从每条曲线穿过一组映射即定义为组成，用表示曲线（从实线到歧管表面的函数$(\mathcal M)$$p\in \mathcal M$$(\psi: \mathbb R \to \mathcal M)$$p.$$p,$$C^\infty (t)\to \mathbb R,$$\left(f \circ \psi \right )'(t)$$\psi$$\mathcal M$）穿过点并在上图中以红色表示；和表示一个测试功能。“ iso- ”白色轮廓线映射到实线上的同一点，并围绕点。$p,$˚F $f,$$f$$p$

等价（或施加到统计等价中的一个）进行了讨论这里，和将涉及以下引用：

如果指数族的参数空间包含维开放集，则称其为满秩。$s$

不是满秩的指数族通常被称为弯曲指数族，因为通常参数空间是维度小于的曲线小号$\mathcal R^s$$s.$

这似乎使得对图的解释如下：分布参数（在这种情况下是指数分布族）位于流形上。在秩不足的非线性优化问题的情况下，的数据点将通过函数映射到流形上的一条线。这将与物理学中的速度计算并行：沿着“ iso-f”线的梯度寻找函数的导数（橙色的方向导数）：函数将起到优化分布参数选择的作用，如曲线 ψ ：- [R → 中号 ˚F （˚F ○ ψ ） '（吨）。˚F ：中号 → [R ψ $\mathbb R$$\psi: \mathbb R \to \mathcal M$$f$$\left(f \circ \psi \right)'(t).$$f: \mathbb M \to \mathbb R$$\psi$在歧管上沿轮廓线行进。$f$

---

背景添加的材料：

值得注意的是，我相信这些概念与ML中的非线性降维没有直接关系。它们看起来更类似于信息几何。这是一个报价：

重要的是，关于流形的统计与流形学习有很大的不同。后者是机器学习的一个分支，其目标是从值数据中学习潜在流形。通常，所需的潜在歧管的尺寸小于。潜在歧管可以是线性或非线性的，具体取决于所使用的特定方法。$R^n$$n$

---

从统计流形上下面的信息与应用建模形状变形由奥伦Freifeld：

虽然通常是非线性的，但我们可以将由表示的切线空间关联到每个点。是向量空间，其维数与相同。的起源是 。如果嵌入在某个欧几里德空间中，我们可以将 视为一个仿射子空间，使得：1）它在处触摸；2）至少在局部，完全位于其一侧。TpM的元素称为切向量。Ť p 中号p ∈ 中号Ť p 中号中号Ť p 中号p 中号Ť p 中号中号p $M$$TpM$$p \in M$$TpM$$M$$TpM$$p$$M$$TpM$$M$$p$$M$

在流形上，统计模型通常用切线空间表示。

[...]

[我们考虑两个]数据集由的点组成：$M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$ ;

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

令和代表两个可能未知的点。假设两个数据集满足以下统计规则：$µ_L$$µ_S$$M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

换句话说，当在处（相对于）的切线空间（作为切线向量）表示时，可以看作是一组零协方差的iid样本。同样，当在处的切线空间中表示时，可以将其视为来自零均值高斯且具有协方差一组iid样本。这概括了欧几里得情形。$D_L$$M$$\mu_L$$\Sigma_L$$D_S$$\mu_S$$\Sigma_S$

在相同的参考文献中，我在网上找到了我所询问的有关该图形概念的最接近（且仅是实际上）的示例：

这是否表示数据位于以切线向量表示的流形表面上，并且参数将映射在笛卡尔平面上？

可以将概率分布族分析为流形上具有与分布参数相对应的固有坐标的点。这样做的目的是避免使用错误的度量表示：单变量高斯可以作为欧几里德流形中的点绘制，如下图的右侧与所述平均值 -轴，并在在该SD轴线（在绘制的方差的情况下正半）：$(\Theta)$$\mathcal N(\mu,\sigma^2),$$\mathbb R^2$$x$$y$

但是，单位矩阵（欧几里得距离）将无法测量各个的（不相似）程度：在上述图左侧的法线曲线上，给定域中的间隔，即使平均值保持固定，方差较小的高斯曲线的不重叠区域（深蓝色）也较大。实际上，对于统计流形“有意义”的唯一黎曼度量是Fisher信息度量。$\mathrm{pdf}$

在Fisher信息距离：几何读数中，Costa SI，Santos SA和Strapasson JE利用高斯分布的Fisher信息矩阵与Beltrami-Pointcaré磁盘模型中的度量之间的相似性来得出封闭式。

双曲面的“北”锥变成非欧几里德流形，其中每个点对应于均值和标准差（参数空间），并且两者之间的最短距离例如和是一条测地曲线，作为双抛物线投影（赤道图）在赤道平面上，并且可以通过度量张量来测量之间的距离 - Fisher信息度量：$x^2 + y^2 - x^2 = -1$$\mathrm {pdf's,}$$P$$Q,$$\mathrm{pdf's}$$g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

$$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$$

且

$$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$$

在相对熵是密切相关的，虽然缺乏几何形状和相关指标。

有趣的是，可以将Fisher信息矩阵解释为Shannon熵的Hessian ：

$$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$$

与

$$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$$

该示例在概念上与更常见的立体地球图相似。

此处未解决ML多维嵌入或流形学习。

将概率链接到几何的方法不止一种。我确定您听说过椭圆分布（例如高斯分布）。该术语本身暗含几何关系，绘制协方差矩阵时很明显。使用歧管，它只是将每个可能的参数值放置在坐标系中。例如，高斯流形将在两个维度上：。您可以具有任何值，但只能有正方差。因此，高斯流形将是整个空间的一半。没那么有趣$\mu,\sigma^2$$\mu\in R$$\sigma^2>0$$R^2$