Questions tagged «matrix-inverse»

我听说可以通过反转协方差矩阵并从所得的精度矩阵中提取适当的单元来找到随机变量之间的局部相关性（此事实在http://en.wikipedia.org/wiki/Partial_correlation中已提及，但没有证明） 。 为什么会这样呢？

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

我需要计算矩阵逆，并且一直在使用solve函数。尽管在小型矩阵上效果很好，但solve在大型矩阵上往往非常慢。我想知道是否还有其他功能或功能组合（通过SVD，QR，LU或其他分解功能）可以使我更快地得到结果。

21 r  matrix-decomposition  matrix-inverse 

我的问题与geoR:::.negloglik.GRF或中利用的计算技术有关geoR:::solve.geoR。 在线性混合模型设置中： 其中和分别是固定效应和随机效应。此外，Y=Xβ+Zb+eY=Xβ+Zb+e Y=X\beta+Zb+e ββ\betabbbΣ=cov(Y)Σ=cov(Y)\Sigma=\text{cov}(Y) 估算效果时，需要计算 ，通常可以使用来完成，但是有时几乎不可逆，因此请运用技巧(X′Σ−1X)−1X′Σ−1Y(X′Σ−1X)−1X′Σ−1Y (X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y solve(XtS_invX,XtS_invY)(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X)geoR t.ei=eigen(XtS_invX) crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY （可以在geoR:::.negloglik.GRF和中看到geoR:::.solve.geoR）等于分解 ，其中，因此 (X′Σ−1X)=ΛDΛ−1(X′Σ−1X)=ΛDΛ−1 (X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\ Λ′=Λ−1Λ′=Λ−1\Lambda'=\Lambda^{-1}(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1)(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1) (X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1}) 两个问题： 本征分解如何帮助反转？(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X) 还有其他可行的选择（强大且稳定）吗？（例如qr.solve或chol2inv？）

13 r  eigenvalues  matrix-decomposition  matrix-inverse  cholesky 

关于设计矩阵的完美共线性的例子是什么？XXX 我想举一个例子，其中β^= （X′X）− 1X′ÿβ^=(X′X)−1X′Y\hat \beta = (X'X)^{-1}X'Y无法估计，因为（X′X）(X′X)(X'X)是不可逆的。

12 regression  multicollinearity  matrix  matrix-inverse 

我正在研究一些聚类技术，其中对于给定的d维向量簇，我假设一个多元正态分布并计算样本d维平均向量和样本协方差矩阵。 然后，当尝试确定一个新的，看不见的d维向量是否属于该簇时，我正在通过以下度量来检查其距离： (Xi−μ^X)′σ^−1X(Xi−μ^X)>B0.95(p2,−p2)(Xi−μ^X)′σ^X−1(Xi−μ^X)>B0.95(p2,−p2)\left(X_i-\hat{\mu}_X\right)'\hat{\sigma}_X^{-1}\left(X_i-\hat{\mu}_X\right)>B_{0.95}\left(\frac{p}{2},\frac{-p}{2}\right) 这需要我计算协方差矩阵的逆。但是给定一些样本，我不能保证协方差矩阵是可逆的，如果不是，我该怎么办？σ^Xσ^X\hat{\sigma}_X 谢谢

12 clustering  multivariate-analysis  covariance  covariance-matrix  matrix-inverse 

的mgcv软件包R具有两个功能，用于拟合张量积相互作用：te()和ti()。我了解两者之间的基本分工（拟合非线性交互与将这种交互分解为主要效果和交互）。我不明白的是为什么te(x1, x2)而ti(x1) + ti(x2) + ti(x1, x2)可能产生（略）不同的结果。 MWE（改编自?ti）： require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

线性回归中w的闭合形式可以写成 w^=(XTX)−1XTyw^=(XTX)−1XTy\hat{w}=(X^TX)^{-1}X^Ty 我们如何直观地解释在此等式中的作用？(XTX)−1(XTX)−1(X^TX)^{-1}

10 regression  least-squares  matrix  intuition  matrix-inverse 

方程的线性系统普遍存在于计算统计中。我遇到的一种特殊系统（例如，在因子分析中）是 Ax=b一个X=bAx=b 其中 这里d是Ñ × Ñ对角线矩阵具有严格为正对角，Ω是米× 米（具有米« Ñ）对称半正定矩阵，乙是任意Ñ × 米矩阵。我们被要求解决一个被低秩矩阵扰动的对角线性系统（简单）。解决上述问题的幼稚方法是使用伍德伯里公式将A求逆A=D+BΩBT一个=d+乙Ω乙ŤA=D+ B \Omega B^TDdDn×nñ×ñn\times nΩΩ\Omegam×m米×米m\times mm≪n米≪ñm\ll nB乙Bn×mñ×米n\times mAAA。但是，这并不对劲，因为Cholesky和QR因式分解通常可以大大加快线性系统（和法向方程式）的求解速度。我最近提出了以下论文，该论文似乎采用了Cholesky方法，并提到了伍德伯里反演的数值不稳定性。但是，该论文似乎是草稿形式，我找不到数值实验或支持性研究。解决我描述的问题的最新技术水平是什么？

10 factor-analysis  matrix  computational-statistics  matrix-decomposition  matrix-inverse 

我知道我们可以在最小二乘回归问题中采用正则化 w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] 并且这个问题有一个封闭形式的解决方案，如： w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. 我们看到在第二个方程中，正则化只是在\ boldsymbol {X} ^ T \ boldsymbol {X}的对角线上添加了\ lambda，这样做是为了提高矩阵求逆的数值稳定性。λλ\lambdaXTXXTX\boldsymbol{X}^T\boldsymbol{X} 我目前对数值稳定性的“粗略”理解是，如果函数变得更加“数值稳定”，则其输出受输入噪声的影响较小。我很难将提高数值稳定性的概念与如何避免/减少过度拟合的问题联系在一起。 我曾尝试查看Wikipedia和其他一些大学网站，但他们没有深入解释为什么会这样。

10 regression  regularization  ridge-regression  overfitting  matrix-inverse