Questions tagged «geometry»

对于涉及几何的主题问题。对于纯粹关于几何的数学问题,最好在数学SE上提问https://math.stackexchange.com/



2
当PCA解释方差时,因子分析如何解释协方差?
这是Bishop的“模式识别和机器学习”书第12.2.4节“因素分析”中的一句话: 根据突出显示的部分,因子分析捕获矩阵变量之间的协方差WWW。我想知道如何? 这就是我的理解。假设是观察到的维变量,是因子加载矩阵,是因子得分向量。然后我们有即 ,中的每一列都是一个因子加载向量 正如我所写,有xxxpppWWWzzzx=μ+Wz+ϵ,x=μ+Wz+ϵ,x=\mu+Wz+\epsilon,⎛⎝⎜⎜x1⋮xp⎞⎠⎟⎟=⎛⎝⎜⎜μ1⋮μp⎞⎠⎟⎟+⎛⎝⎜|w1|…|wm|⎞⎠⎟⎛⎝⎜⎜z1⋮zm⎞⎠⎟⎟+ϵ,(x1⋮xp)=(μ1⋮μp)+(||w1…wm||)(z1⋮zm)+ϵ,\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} \begin{pmatrix} z_1\\ \vdots\\ z_m \end{pmatrix} +\epsilon, \end{align*}WWWwi=⎛⎝⎜⎜wi1⋮wip⎞⎠⎟⎟.wi=(wi1⋮wip).w_i=\begin{pmatrix}w_{i1}\\ \vdots\\ w_{ip}\end{pmatrix}.WWW米mmm列表示正在考虑因素。mmm 现在,重点在于,根据突出显示的部分,我认为每列的负载都说明了观测数据中的协方差,对吗?wiwiw_i 例如,让我们看一下第一个加载向量,对于,如果,和,则我想说和高度相关,而似乎与它们不相关,对吗? 1 ≤ 我,Ĵ ,ķ ≤ p 瓦特1 …

2
罚线性回归的几何解释
我知道线性回归可以认为是“垂直上最接近所有点的线”: 但是,通过可视化列空间,还有另一种查看方式,即“在系数矩阵的列所跨越的空间上的投影”: 我的问题是:在这两种解释中,当我们使用惩罚线性回归(如岭回归和 LASSO)时会发生什么?在第一个解释中该行会发生什么?在第二种解释中,投影会发生什么? 更新: @JohnSmith在评论中提到了惩罚发生在系数空间中的事实。在这个领域也有解释吗?

1
多重相关系数和确定系数几何解释
我对回归的多重相关性和确定系数的几何含义感兴趣或矢量记号,RRRR2R2R^2yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon} 这里的设计矩阵有行和列,其中第一个是,它是1s的向量,对应于截距。XX\mathbf{X}nnnkkkx1=1nx1=1n\mathbf{x}_1 = \mathbf{1}_nβ1β1\beta_1 在维主题空间而不是维变量空间中,几何更有趣。定义帽子矩阵:nnnkkk H=X(X⊤X)−1X⊤H=X(X⊤X)−1X⊤\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top 这是的列空间上的正交投影,即 由代表每个变量的向量跨越的原点的平坦部分,其中第一个是。然后将观测到的响应投影到平面上的“阴影”上,拟合值的向量,如果沿着投影的路径看,我们会看到残差向量形成了三角形的第三边。这应该为我们提供两种途径来对进行几何解释XX\mathbf{X}kkkxixi\mathbf{x}_i1n1n\mathbf{1}_nHH\mathbf{H}ý = ħ Ŷ ë = ÿ - ÿ - [R 2yy\mathbf{y}y^=Hyy^=Hy\mathbf{\hat{y}} = \mathbf{Hy}e=y−y^e=y−y^\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}R2R2R^2: 多重相关系数的平方,它定义为和之间的相关性。这将在几何上显示为角度的余弦。RRRÿyy\mathbf{y}y^y^\mathbf{\hat{y}} …

1
对主题(双)空间中PCA的几何理解
我试图对主成分分析(PCA)在主题(双)空间中的工作方式有一个直观的了解。 考虑具有两个变量x1x1x_1和x2x2x_2以及nnn数据点的2D数据集(数据矩阵XX\mathbf X为n×2n×2n\times 2并假定为居中)。PCA的通常表示是,我们考虑R 2中的nnn个点,记下2 × 2协方差矩阵,并找到其特征向量和特征值。第一个PC对应于最大方差的方向,等等。这是协方差矩阵C = (4 2 2 2)的示例R2R2\mathbb R^22×22×22\times 2C=(4222)C=(4222)\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)。红线表示按各自特征值平方根缩放的特征向量。 \hskip 1in 现在考虑一下主题空间中发生了什么(我从@ttnphns学到了这个术语),也称为对偶空间(机器学习中使用的术语)。这是一个nnn维空间,其中两个变量(两列XX\mathbf X)的样本形成两个向量x1x1\mathbf x_1和x2x2\mathbf x_2。每个变量向量的平方长度等于其方差,两个向量之间的夹角余弦等于它们之间的相关性。顺便说一下,这种表示在多元回归的治疗中非常标准。在我的示例中,主题空间如下所示(我只显示了由两个变量向量跨越的2D平面): \hskip 1in 主成分是两个变量的线性组合,将在同一平面上形成两个向量和p 2。我的问题是:如何在这样的图形上使用原始变量矢量来形成主成分变量矢量的几何理解/直觉是什么?给定x 1和x 2,什么几何过程将产生p 1?p1p1\mathbf p_1p2p2\mathbf p_2x1x1\mathbf x_1x2x2\mathbf x_2p1p1\mathbf p_1 以下是我目前对此的部分理解。 首先,我可以通过标准方法计算主要成分/轴并将其绘制在同一图上: \hskip 1in 此外,我们可以注意到,选择要使x i(蓝色矢量)与其在p 1上的投影之间的距离的平方和最小。这些距离是重建误差,并且用黑色虚线显示。等效地,p 1使两个投影的平方长度的总和最大化。这完全指定了p 1,并且当然完全类似于主空间中的类似描述(请参见我对“理解主成分分析,特征向量和特征值”的回答中的动画)。另请参阅@ttnphns答案的第一部分。p1p1\mathbf p_1xixi\mathbf x_ip1p1\mathbf p_1p1p1\mathbf p_1p1p1\mathbf p_1 但是,这还不够几何!它没有告诉我如何找到这样的,也没有指定其长度。p1p1\mathbf …

1
广义线性模型的几何解释
对于线性模型,我们可以有估计的模型的经由OLS一个很好的几何解释:Ý = X β + ë。ÿ是y的到空间跨越由x和残余投影ë是垂直于该空间跨越×。ÿ= X β+ eÿ=Xβ+Ëy=x\beta+eÿ^= X β^+ e^ÿ^=Xβ^+Ë^\hat{y}=x\hat{\beta}+\hat{e}ÿ^ÿ^\hat{y}Ë^Ë^\hat{e} 现在,我的问题是:广义线性模型是否有任何几何解释(逻辑回归,泊松,生存)?我如何解释估计的二值逻辑回归模型很好奇p = 物流(X β)几何,以类似的方式为线性模型。它甚至没有错误项。 p^=物流(X β^)p^=后勤(Xβ^)\hat{p} = \textrm{logistic}(x\hat{\beta}) 我发现了一个关于广义线性模型的几何解释的话题。http://statweb.stanford.edu/~lpekelis/talks/13_obs_studies.html#(7)。不幸的是,没有可用的数字,很难想象。 任何帮助,参考和建议将不胜感激!!!

5
分布的峰度与密度函数的几何关系如何?
峰度用于测量分布的峰度和平坦度。分布的密度函数(如果存在)可以视为曲线,并具有与其形状相关的几何特征(例如曲率,凸度等)。 因此,我想知道分布的峰度是否与密度函数的某些几何特征有关,从而可以解释峰度的几何含义?

1
最大似然估计的几何解释
我正在阅读富兰克林·费舍尔(Franklin M. Fisher)的《计量经济学中的识别问题》一书,对他通过可视化似然函数来演示识别的部分感到困惑。 该问题可以简化为: 对于回归,其中Ú 〜我。我。d 。Ñ (0 ,σ 2我), 一个和b是参数。假设Y的系数c等于1。然后,在c ,a ,b空间中的似然函数 将沿着射线具有与真实参数的向量及其标量倍数相对应的脊ÿ= a + Xb + uÿ=一种+Xb+üY=a+Xb+u你〜我。我。d。ñ(0 ,σ2一世)ü〜一世。一世。d。ñ(0,σ2一世)u \sim i.i.d. N(0,\sigma^2I)一种一种abbbÿÿYCCcc ,a ,bC,一种,bc, a,b。仅考虑给定的位置时,似然函数在光线与该平面相交的点处将具有唯一的最大值。c = 1C=1个c=1 我的问题是: 关于演示中提到的山脊和射线,应该如何理解和推理。 由于射线是真实的参数和标量,因此为什么射线不在给出的平面上,因为参数c的真实值为1。c = 1C=1个c=1CCc

1
澄清信息几何
此问题与Amari撰写的《弯曲指数家庭的微分几何-曲率和信息损失》有关。 全文如下。 令是具有坐标系统的维概率分布流形,其中假设 ...Sn={pθ}Sn={pθ}S^n=\{p_{\theta}\}nnnθ=(θ1,…,θn)θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)pθ(x)>0pθ(x)>0p_{\theta}(x)>0 我们可以把每一个点的作为承载功能的 ...θθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxx 让是切空间在,这一点,粗略地说,有一小附近的线性化版本标识在。令是与协调系统关联的的自然基础...TθTθT_{\theta}SnSnS^nθθ\thetaθθ\thetaSnSnS^nei(θ),i=1,…,nei(θ),i=1,…,ne_i(\theta), i=1,\dots,nTθTθT_{\theta} 由于每个点的携带功能的,很自然地认为在作为表示函数θθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxxei(θ)ei(θ)e_i(\theta)θθ\thetaei(θ)=∂∂θilogpθ(x).ei(θ)=∂∂θilog⁡pθ(x).e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x). 我不明白最后的陈述。这出现在上述论文的第2节中。上式如何给出切线空间的基础?如果该社区中熟悉此类材料的某人可以帮助我理解这一点,将会很有帮助。谢谢。 更新1: 尽管我同意(来自@aginensky),如果是线性独立的,则由于它们也是线性独立的,所以这些切线空间的成员首先是如何的还不是很清楚。因此如何将视为切线空间的基础。任何帮助表示赞赏。∂∂θipθ∂∂θipθ\frac{\partial}{\partial\theta_i}p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta} 更新2: @aginensky:Amari在他的书中说: 让我们考虑以下情况:,上所有(严格)正概率度量的集合,其中我们将视为。实际上,是仿射空间一个开放子集。Sn=P(X)Sn=P(X)S^n=\mathcal{P}(\mathcal{X})X={x0,…,xn}X={x0,…,xn}\mathcal{X}=\{x_0,\dots,x_n\}P(X)P(X)\mathcal{P}(\mathcal{X})RX={X∣∣X:X→R}RX={X|X:X→R}\mathbb{R}^{\mathcal{X}}=\{X\big|X:\mathcal{X}\to \mathbb{R}\}P(X)P(X)\mathcal{P}(\mathcal{X}){X∣∣∑xX(x)=1}{X|∑xX(x)=1}\{X\big |\sum_x X(x)=1\} 然后切空间的每一点可以自然地与所确定的线性子空间。对于coordiante系统的自然基础,我们有。Tp(Sn)Tp(Sn)T_p(S^n)SnSnS^nA0={X∣∣∑xX(x)=0}A0={X|∑xX(x)=0}\mathcal{A}_0=\{X\big |\sum_x X(x)=0\}∂∂θi∂∂θi\frac{\partial}{\partial\theta_i}θ=(θ1,…,θn)θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)(∂∂θi)θ=∂∂θipθ(∂∂θi)θ=∂∂θipθ(\frac{\partial}{\partial\theta_i})_{\theta}=\frac{\partial}{\partial\theta_i}p_{\theta} 接下来,就让我们再嵌入,并确定与该亚群的。的切线矢量然后通过操作的结果表示到,我们通过表示。特别是,我们有。显然和 p↦logpp↦log⁡pp\mapsto \log pSnSnS^nlogSn:={logp∣∣p∈Sn}log⁡Sn:={log⁡p|p∈Sn}\log S^n:=\{\log p\big |p\in S^n\}RXRX\mathbb{R}^{\mathcal{X}}X∈Tp(Sn)X∈Tp(Sn)X\in T_p(S^n)XXXp↦logpp↦log⁡pp\mapsto \log pX(e)X(e)X^{(e)}(∂∂θi)(e)θ=∂∂θilogpθ(∂∂θi)θ(e)=∂∂θilog⁡pθ(\frac{\partial}{\partial\theta_i})_{\theta}^{(e)}=\frac{\partial}{\partial\theta_i}\log p_{\theta}X(e)=X(x)/p(x)X(e)=X(x)/p(x)X^{(e)}=X(x)/p(x)T(e)p(Sn)={X(e)∣∣X∈Tp(Sn)}={A∈RX∣∣∑xA(x)p(x)=0}.Tp(e)(Sn)={X(e)|X∈Tp(Sn)}={A∈RX|∑xA(x)p(x)=0}.T_p^{(e)}(S^n)=\{X^{(e)}\big |X\in T_p(S^n)\}=\{A\in \mathbb{R}^{\mathcal{X}}\big |\sum_x A(x)p(x)=0\}. 我的问题:如果和都是切线空间的基础,那么这不会与事实和是不同的和?∂∂θi∂∂θi\frac{\partial}{\partial\theta_i}(∂∂θi)(e)(∂∂θi)(e)(\frac{\partial}{\partial\theta_i})^{(e)}TpTpT_pT(e)pTp(e)T_p^{(e)}∂∂θi(e)∈T(e)p∂∂θi(e)∈Tp(e)\frac{\partial}{\partial\theta_i}^{(e)}\in T_p^{(e)} 我猜想()和之间似乎存在关联。如果您可以澄清这一点,将有很大帮助。您可以给出答案。Sn,TpSn,TpS^n,T_p(logSn,T(e)p)(log⁡Sn,Tp(e))(\log S^n,T_p^{(e)})

2
找出最小协方差矩阵的适当方法
在我读的教科书中,他们使用正定性(半正定性)来比较两个协方差矩阵。这个想法是,如果是Pd然后小于。但是我很难理解这种关系吗?A − BA−BA-B乙BB一个AA 这里有一个类似的线程: /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices 使用确定性比较矩阵的直觉是什么? 尽管答案很好,但它们并不能真正解决直觉。 这是一个令人困惑的示例: [ 1612129] - [ 1224][1612129]−[1224]\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation} 现在这里的差异的决定因素是-25,因此该关系不是pd甚至psd,因此第一个矩阵不大于第一个矩阵? 我只想比较两个3 * 3协方差矩阵,看看哪个最小?在我看来,使用欧几里得范数之类的东西进行比较会更直观吗?但是,这将意味着上面的第一个矩阵大于第二个矩阵。而且,我只见过用于比较协方差矩阵的pd / psd准则。 有人可以解释为什么pd / psd比使用其他方法(例如欧几里得范数)更好吗? 我也已经在数学论坛上发布了这个问题(不确定什么是最好的),希望这不违反任何规则。 /math/628135/comparing-two-covariance-matrices

1
数据空间,变量空间,观察空间,模型空间(例如,线性回归)
假设我们有一个数据矩阵(它是 ×)和标签矢量(它是 ×1)。在这里,矩阵的每一行都是一个观察值,每一列都对应一个维度/变量。(假设)XX\mathbf{X}ññnpppÿÿYññnÑ > pñ>pn>p 那么什么data space,variable space,observation space,model space是什么意思? 列向量跨越的空间是否是一个(退化的) -D空间,因为它具有坐标,而列为,又称为列可变空间,因为它被变量向量跨越了?还是因为每个维度/坐标都对应一个观测值,所以将其称为观测空间?ññnññnppp 行向量跨越的空间又如何呢?

3
为什么贝叶斯定理以图形方式工作?
从数学的角度来看,贝叶斯定理对我来说是完全有意义的(即推导和证明),但是我不知道是否有一个很好的几何或图形论证可以用来解释贝叶斯定理。我尝试了Googling以获得答案,但令人惊讶的是我找不到任何东西。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.