使用最大似然拟合多元正态模型时，如何确保协方差矩阵的性质？

22

假设我有以下模型

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

其中，是解释变量的向量，是非线性函数和，其中自然是矩阵。 $y_i\in \mathbb{R}^K$ $x_i$ $\theta$ $f$ $\varepsilon_i\sim N(0,\Sigma)$ $\Sigma$ $K\times K$

通常的目标是估算 $\theta$ 和 $\Sigma$ 。明显的选择是最大似然法。此模型的对数似然性（假设我们有一个样本 $(y_i,x_i),i=1,...,n$ ）看起来像

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

现在，这似乎很简单，指定了对数似然性，将其放入数据中，并使用某种算法进行非线性优化。问题是如何确保 $\Sigma$ 为正定。例如，optim在R中使用R（或任何其他非线性优化算法）将无法保证 $\Sigma$ 是正定的。

那么问题是如何确保 $\Sigma$ 保持正定值？我看到两种可能的解决方案：

重新参数化 $\Sigma$ 为 $RR'$ ，其中 $R$ 是上三角或对称矩阵。然后 $\Sigma$ 将始终是正定的，并且 $R$ 可以不受约束。
使用配置文件可能性。推导 $\hat\theta(\Sigma)$ 和的公式 $\hat{\Sigma}(\theta)$ 。从一些开始 $\theta_0$ 并迭代 $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ ， $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ 直到收敛为止。

还有其他方法吗，这两种方法又会起作用吗，它们是标准的吗？这似乎是很标准的问题，但是快速搜索没有给我任何提示。我知道贝叶斯估计也是可能的，但目前我不想参与其中。

maximum-likelihood optimization covariance

— mpiktas
source

我在卡尔曼算法中也遇到了同样的问题，但是这个问题更加复杂，而且不容易使用汉密尔顿技巧。我不知道那是否更简单的事情是仅使用。这样，我强制代码不给出错误并且不更改解决方案。这也具有迫使该术语具有与可能性的最后部分相同的符号的优点。有任何想法吗？

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

假设在构建协方差矩阵，则会自动采取对称问题的关心，你的数似然将是时是因为不正定的术语模特对不对？为了防止在出现数值错误，我会预先计算，如果它不是正数，则使对数似然性等于-Inf，否则继续。无论如何，您都必须计算行列式，因此这不会花费您任何额外的计算。 $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— 巨集
source

5

事实证明，您可以使用轮廓最大可能性来确保必要的属性。您可以证明对于给定的，被最大化 $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

哪里

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

然后有可能表明

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

因此我们只需要最大化

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

在这种情况下，自然会满足所有必要的属性。对于为线性的情况，证明是相同的，可以在JD Hamilton的时间序列分析第295页中找到，因此我省略了它们。 $\Sigma$ $f$

— mpiktas
source

3

协方差矩阵的另一种参数化是根据特征值和 “ Givens”角度。 $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

也就是说，我们可以写

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

其中是正交的，并且 $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

与。 $\lambda_1 \geq ... \geq \lambda_p \geq 0$

同时，可以根据角度唯一地对进行参数化，其中和。[1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

（细节待添加）

[1]：霍夫曼，拉夫内蒂，鲁登伯格。“欧拉角到N维正交矩阵的推广”。J.数学物理 13,528（1972）

— 查尔斯·郑
source

矩阵实际上是正交的，因为是对称矩阵。这是我要推荐的方法-基本上相当于旋转向量和模型函数以便误差独立，然后将OLS应用于每个旋转的分量（我认为）。

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

— 概率

2

按照charles.y.zheng的解决方案，您可能希望对进行建模，其中是对角矩阵，而是等级更新为的Cholesky因式分解。您只需要保持正的对角线即可保持正数。也就是说，您应该估计的对角线和的元素，而不是估计。 $\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— 破旧的
source

只要对角线为正，此设置中对角线元素下方是否可以是我想要的任何东西？在numpy中以这种方式模拟矩阵时，并非所有矩阵都是正定的。

— sztal

Λ

$\Lambda$ 是对角矩阵。

— shabbychef