受限制的最大似然比小于

此问题处理线性模型的特定版本中的受限最大似然（REML）估计，即：

Y = X (α) β + ϵ, ϵ \sim N_{n} (0, Σ (α)),

$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$

其中为（）矩阵由参数化，因为是。是令人讨厌的参数的未知向量；兴趣是在估计，我们有。通过最大可能性估计模型没有问题，但是我想使用REML。众所周知，参见例如LaMotte的，即似然，其中是任何半正交矩阵，使得 $X(\alpha)$ $n \times p$ $\alpha \in \mathbb R^k$ $\Sigma(\alpha)$ $\beta$ $\alpha$ $k\leq p\ll n$ $A'Y$ $A$ 可以写成 $A'X=0$

L_{REML} (α ∣ Y) \propto | X^{'} X |^{1 / 2} | Σ |^{- 1 / 2} | X^{'} Σ^{- 1} X |^{- 1 / 2} \exp {- \frac{1}{2} r^{'} Σ^{- 1} r}, r = (I - X (X^{'} Σ^{- 1} X)^{+} X^{'} Σ^{- 1}) Y,

$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$

当为完整列等级时 $X$ 。

我的问题是，对于某些完全合理且科学有趣的，矩阵的列级不完整。所有我看到上面，使有限的可能性的推导使用决定等式是不适用的时候，即它们假定完整列等级。这意味着以上限制的可能性仅对我在部分参数空间上的设置正确，因此不是我要优化的。 $\alpha$ $X(\alpha)$ $\vert X'X\vert=0$ $X$

问题：在没有假设为完整列等级的情况下，是否有更一般的受限制的可能性在统计文献或其他文献中得出？如果是这样，它们是什么样的？ $X$

一些观察：

对于任何而言，导出指数部分都是没有问题的，并且可以按照上述Moore-Penrose逆来表示 $X(\alpha)$
的列是一个（任意）正交基 $A$ $C(X)^\bot$
对于公知的，对于似然可以很容易地记录下来，每，但基本向量，即列，在当然数量的取决于的列秩 $A$ $A'Y$ $\alpha$ $A$ $X$

如果对这个问题感兴趣的人相信的确切参数设置会有所帮助，请告诉我，我将其写下来。不过，在这一点上，我最感兴趣的是具有正确尺寸的一般的REML 。 $X,\Sigma$ $X$

该模型的详细说明如下。 让是维一阶向量自回归[VAR（1）]其中，。假设该过程在时间处以某个固定值开始。 $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$ $r$ $v_t \overset{iid}{\sim}N(0, \Omega)$ $y_0$ $t = 0$

限定。该模型可以写成线性模型形式使用下面的定义和表示法： $Y = [y_1', \dots, y_T']'$ $Y = X\beta + \varepsilon$

\begin{aligned} X & = [1_{T} \otimes I_{r}, C^{- 1} B] \\ β & = [μ^{'}, y_{0}^{'} - μ^{'}]^{'} \\ v a r (ε)^{- 1} & = C^{'} (I_{T} \otimes Ω^{- 1}) C \\ C & = [\begin{matrix} I_{r} & 0 & 0 & \dots \\ - A & I_{r} & 0 & \dots \\ 0 & - A & I_{r} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix}] \\ B & = e_{1, T} \otimes A, \end{aligned}

$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$

其中表示一和的维向量的第一标准基向量。 $1_T$ $T-$ $e_{1,T}$ $\mathbb R^T$

表示。请注意，如果不是完整等级，则不是完整列等级。例如，这包括的成分之一不依赖于过去的情况。 $\alpha = \mathrm{vec}(A)$ $A$ $X(\alpha)$ $y_t$

使用REML估计VAR的想法在例如预测回归文献中是众所周知的（例如，参见Phillips和Chen及其参考文献。）

可能有必要澄清一下，矩阵不是通常意义上的设计矩阵，它只是落在模型之外，除非有关于的先验知识，据我所知，没有办法重新参数化它是完整的排名。 $X$ $A$

我已经在math.stackexchange上发布了一个与此问题相关的问题，从某种意义上说，对数学问题的答案可能有助于推导得出可以回答该问题的可能性。

— 埃克瓦尔
source

解决这个问题的一种方法可能是问，当模型矩阵不是完整的列等级时，在线性混合模型中会发生什么？

— Greenparker

感谢@Greenparker的赏金。而且，是的，如果可以为线性混合模型写下一个受限的可能性，并且该模型的列数小于固定列的固定效果设计矩阵，那将会有所帮助。

— ekvall '16

对于任何X（α）X（α）而言，导出指数部分都是没有问题的，并且可以按照上面的Moore-Penrose逆来表示

我怀疑这种观察是正确的。广义逆实际上对估计量施加了额外的线性限制[Rao＆Mitra]，因此我们应该从整体上考虑联合似然，而不是猜测“ Moore-Penrose逆将适用于指数部分”。这在形式上似乎正确，但您可能无法正确理解混合模型。

（1）如何正确思考混合效应模型？ $\blacksquare$

在尝试将g-逆（OR Moore-Penrose逆，这是一种特殊的自反g-逆[Rao＆Mitra]）机械地插入到RMLE给出的公式中之前，您必须以不同的方式考虑混合效应模型。最大似然估算器，如下所示。

X = (\begin{array}{cc} f i x e d e f f e c t \\ r a n d o m e f f e c t \end{array})

$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$

考虑混合效应的一种常见方式是，设计矩阵中的随机效应部分是由测量误差引起的，如果我们更关注预测而不是估计，则它又称为“随机预测变量”。这也是统计设置中研究随机矩阵的历史动机之一。

我的问题是，对于某些完全合理且科学有趣的α，矩阵X（α）X（α）的列级别不完整。

给定这种可能性的思考方式，不完全排名的可能性为零。这是因为行列式函数在矩阵项中是连续的，而正态分布是将零概率分配给单个点的连续分布。如果您以如下方式进行参数化，则有缺陷的等级的概率为正 $X(\alpha)$ $X(\alpha)$ 。 $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

因此，解决你的问题也是相当简单的，你只需扰动设计矩阵（扰乱固定效果的一部分只），并使用扰动矩阵（满分）进行所有推导。除非您的模型具有复杂的层次结构或本身接近奇异，否则在最终结果中取时不会出现严重问题，因为行列式函数是连续的，我们可以在行列式函数内取极限。 $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$ $X$ $\epsilon\rightarrow 0$ 。并且可以通过Sherman-Morrision-Woodbury定理以扰动形式获得的逆。矩阵的行列式在标准线性代数书（如[Horn＆Johnson]）中给出。当然，我们可以根据矩阵的每个项来写行列式，但是总是首选扰动[Horn＆Johnson]。 $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$ $X_\epsilon$ $I+X$

（2）我们应该如何处理模型中的讨厌参数？ $\blacksquare$

如您所见，要处理模型中的随机效应部分，我们应该将其视为“讨厌参数”。问题是：RMLE是消除干扰参数的最合适方法吗？即使在GLM和混合效果模型中，RMLE也不是唯一的选择。[Basu]指出了在估计设置中消除参数的许多其他方法。今天，人们倾向于在RMLE和贝叶斯模型之间进行选择，因为它们分别对应于两种基于计算机的流行解决方案：EM和MCMC。

我认为，在固定效果部分出现等级缺陷的情况下，先验引入绝对更合适。或者，您可以重新参数化模型以使其成为完整的模型。

此外，如果您的固定效果没有达到最高等级，您可能会担心错误指定的协方差结构，因为固定效果的自由度应该已经进入误差部分。为了更清楚地看到了这一点，你可能要考虑的MLE（也LSE）的GLS（一般加权最小二乘其中为的协方差结构对于不完全秩的情况，为误差项。 $\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ $\Sigma$ $X(\alpha)$

（3）更多评论 $\blacksquare$

问题不在于在矩阵的固定效果部分未达到最高等级的情况下，如何修改RMLE以使其起作用。问题在于，在这种情况下，如果非完全排名情况的概率为正，则模型本身可能会出现问题。

我遇到的一个相关案例是，在空间案例中，由于计算方面的考虑，人们可能希望降低固定效果部分的等级[Wikle]。

在这种情况下，我还没有看到任何“科学有趣”的案例，您能指出一些文献，其中最不完整的案例是值得关注的吗？我想进一步了解和讨论，谢谢。

参考 $\blacksquare$

[Rao＆Mitra] Rao，Calyampudi Radhakrishna和Sujit Kumar Mitra。矩阵的广义逆及其应用。卷 7.纽约：Wiley，1971年。

[Basu] Basu Debabrata。“关于消除讨厌的参数。” 美国统计协会杂志72.358（1977）：355-366。

[Horn＆Johnson] Horn，Roger A.和Charles R. Johnson。矩阵分析。剑桥大学出版社，2012年。

[Wikle] Wikle，ChristopherK。“空间过程的低秩表示。” 空间统计手册（2010）：107-118。

— 亨利
source

感谢您的关注和对答案的深思熟虑，+ 1表示努力。我将更详细地阅读它，然后再作一些澄清。我想首先要澄清的是，该模型中没有随机效应，并且矩阵

根本不是设计矩阵，只是名称上缺少更好的用词。它是参数

的高度非线性函数（确定性），由向量自回归过程中的系数矩阵组成（向量化），因此低秩概率的概念没有意义。

X

$X$

α

$\alpha$

— ekvall '16

@ Student001是的，请随时进行澄清，因为我也觉得它更像是GLM，而不是混合模型。如果可以的话，我将尝试再次回答：）

— Henry.L 16/12/11

@ Student001如果可以，请编写整个模型，我想研究这种情况，可能是我想在空间设置中可能是AR（1）。

— Henry.L 16/12/11

X (α)

$X(\alpha)$ 不能达到全秩为零。” 正确答案，错误问题。从数值上讲，它不能达到有限精度的全等级的可能性为非零。

— 马克·L·斯通

@ MarkL.Stone如果您仔细阅读线条，我已经提供了摄动作为解决方案，这是数字奇异性的标准解决方案。OP说他将更新描述，所以我想我们将就正确制定的问题达成一些共识。

— Henry.L