在GLM中，饱和模型的对数似然性是否始终为零？

作为广义线性模型输出的一部分，零偏差和残差偏差用于评估模型。我经常看到这些量的饱和模型的对数似然来表示的公式，例如：/stats//a/113022/22199，Logistic回归：如何获取饱和模型

据我所知，饱和模型是完全符合观察到的响应的模型。因此，在我见过的大多数地方，饱和模型的对数似然始终为零。

但是，给出偏差公式的方式表明，有时该量不为零。（好像总是始终为零，为什么还要包括它？）

在什么情况下可以为非零？如果它永远都不为零，为什么要在偏差公式中包括它？

— 亚历克斯
source

Answers:

如果您真的要说对数似然，那么答案是：它并不总是为零。

例如，考虑泊松数据：。对数似然由下式给出： $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ $Y = (y_1, \ldots, y_n)$

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

微分在相对于并将其设置为（这是我们如何获得MLE饱和模型）：解决为以获得，然后将入为可得出饱和模型的对数似然为：除非取非常特殊价值观。 $\ell(\mu; Y)$ $(*)$ $\mu_i$ $0$

- 1 + \frac{y_{i}}{μ_{i}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$

μ_{i}

$\mu_i$

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

ℓ (\hat{μ}; Y) = \sum_{i = 1}^{n} y_{i} (\log y_{i} - 1) - \sum_{i = 1}^{n} \log (y_{i}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$

y_{i}

$y_i$

在的帮助页面R的功能glm，在该项目下deviance，该文件解释了这个问题，如下所示：

deviance 最多减去一个常数，即最大对数可能性的两倍。在合理的情况下，选择常数可以使饱和模型的偏差为零。

注意，它提到将偏差模型而不是饱和模型的对数似然选择为零。

可能您真正想确认的是“ 饱和模型的偏差始终为零”，这是正确的，因为根据定义，偏差（请参阅Alan 分类数据分析（第2版，第4.5.1节）） Agresti是指定GLM与饱和模型的似然比统计量。constantR文档中的上述内容实际上是饱和模型最大化对数似然性的两倍。

关于您的陈述“但是，给出偏差的公式的方式表明该数量有时不为零。”，这可能是由于滥用术语“ 偏差”造成的。例如，在R，比较两个的似然比统计任意（嵌套的）模型和也被称为偏离，这将被更精确地称为该差的偏差之间和的偏差，如果我们严格遵循Agresti书中的定义。 $M_1$ $M_2$ $M_1$ $M_2$

结论

饱和模型的对数似然通常为非零。
饱和模型的偏差（按其原始定义）为零。
软件（例如R）的偏差输出通常为非零值，因为它实际上表示其他含义（偏差之间的差异）。

以下是一般指数族情况的推导和另一个具体示例。假设数据来自指数族（请参见《现代应用统计》第S章，第章）：，其中是已知的先验权重，是色散/比例参数（在许多情况下，例如二项式和Poisson，此参数是已知的，而在其他情况下，例如法线和Gamma，此参数是未知的）。然后，对数似然由下式给出： $7$

\begin{matrix} (1) & f (y_{i}; θ_{i}, φ) = \exp [A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + τ (y_{i}, φ / A_{i})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$

A_{i}

$A_i$

φ

$\varphi$

ℓ (θ, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$ 如在Poisson示例中一样，可以通过求解以下得分函数来估计饱和模型的参数：

0 = U (θ_{i}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{i}} = \frac{A_{i} (y_{i} - γ^{'} (θ_{i}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

用表示上述方程式的解，则饱和模型的对数似然的一般形式（将比例参数作为常数进行处理）为： $\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} {\hat{θ}}_{i} - γ ({\hat{θ}}_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

在我的上一个答案中，我错误地指出右侧的第一项始终为零，以上泊松数据示例证明了它是错误的。对于更复杂的示例，请考虑附录中给出的Gamma分布。 $(**)$ $\Gamma(\alpha, \beta)$

饱和Gamma模型的对数似然中第一项的证明不是零：给定我们必须首先进行重新参数化，以便具有指数族形式。如果让则具有以下表示形式：其中

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = \exp [\frac{θ y - (- \log (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{\log φ}{φ} + (\frac{1}{φ} - 1) \log y - \log Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$ 因此，饱和模型的MLE为。因此除非取非常特殊的值。

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{i = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{i} y_{i} - (- \log (- {\hat{θ}}_{i}))] = \sum_{i = 1}^{n} \frac{1}{φ} [- 1 - \log (y_{i})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— 战雄
source

当且仅当模型可以为每个可能的结果分配100％的概率时，对数可能性为零吗？

— 亚历克斯

我不太明白你的意思。但是从我的派生你可能会认为它是，当且仅当是相同的，没有分散参数。

0

$0$

τ

$\tau$

0

$0$

— 詹雄2015年

您的推论非常好，但目前的正式证明略高于我的头。感谢您提供的泊松模型示例。我从该示例中得出的结论是，在给定Poisson平均值的任何值的情况下，泊松模型无法将100％的概率分配给观察到的结果，因此可能性不可能为零。

— 亚历克斯

语句“模型将概率分配给观察到的结果”对我来说听起来很奇怪。您是说给定观测值，并且如果是泊松随机变量，则？

100 %

$100\%$

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$

Y

$Y$

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$

— 詹雄2015年

我的意思是，如果是泊松随机变量，则对于任何或泊松均值，，因此，不可能找到任何模型参数为观察到的对数提供零。也许我完全误解了饱和模型的概念。

Y

$Y$

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$

i

$i$

— Alex

詹雄的答案已经是不错的（+1），但这是一个快速演示，它显示了对数回归的饱和模型的对数似然为。我以为我会发表，因为我还没有在这个网站上看到过这个TeX，而且因为我只是写了这些来作演讲。 $0$

可能性为，其中。

\begin{matrix} (1) & L (y; X, β) = \prod_{i = 1}^{n} f (y_{i}; x_{i}, β) = \prod_{i = 1}^{n} π_{i}^{y_{i}} (1 - π_{i})^{1 - y_{i}} = \prod_{i = 1}^{n} {(\frac{π_{i}}{1 - π_{i}})}^{y_{i}} (1 - π_{i}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$

对数似然是

\begin{aligned} \log L (y; X, β) & = \sum_{i = 1}^{n} y_{i} \log (\frac{π_{i}}{1 - π_{i}}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} logit (π_{i}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (1 - invlogit (x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (invlogit (- x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β - \log (1 + \exp [x_{i}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

如果对所有系数取导数，则

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{i = 1}^{n} y_{i} x_{i} - \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

将此表达式设置为等于并求解将为您提供答案。通常这不能通过分析来完成，这可以解释使用迭代算法来拟合该模型的普遍性/必要性，但是在饱和模型的情况下，这是可能的。 $\mathbf{0}$ $\boldsymbol{\beta}$

为了找到饱和模型，我们给每一行赋予它自己的系数。因此设计矩阵乘以系数向量就是 $\boldsymbol{\beta} \in \mathbb{R}^n$

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

请注意，尤其是。 $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$

因此，取等式（2）的第行给我们 $j$

\sum_{i = 1}^{n} y_{i} x_{i, j} = \sum_{i = 1}^{n} \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

只有对于每个观察值，这才是正确的： $i$

y_{i} = invlogit (β_{i})

$y_i = \text{invlogit}(\beta_i )$ ，换句话说，每个为正负无穷大（如果分别为或）。我们可以将这些参数重新插入（1）中以获得最大可能性：显然，它的对数是。

β_{i}

$\beta_i$

y_{i}

$y_i$

1

$1$

0

$0$

\prod_{i = 1}^{n} {\hat{π}}_{i}^{y_{i}} (1 - {\hat{π}}_{i})^{1 - y_{i}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$

0

$0$

— 泰勒
source

但这假设未分组的数据。如果您具有（并且具有相同的协变量值）的组（例如，使用R形式在R中），则饱和模型不具有对数似然零。

n_{i} > 1

$n_i>1$ glm( cbind(k, n-k) ~ x + ...

— kjetil b halvorsen

@kjetilbhalvorsen哦，好点。我从未尝试过让我检查一下

— 泰勒

@Alex：是的，没错。至少对于离散分布。对于连续分布，归结为让密度等于1，这不一定有意义，因此尝试实现也不是明智的选择。一般而言，饱和模型的对数似然性为您提供了遵循基础分布族假设的任何模型的性能上限。换句话说，假设Y是二项式，对于给定的数据集（X，Y），饱和二项式模型的对数似然率“尽可能好”。将您的glm模型与此上限（而不是100％（或类似值））进行比较是有意义的，因为您的模型固有地受响应分布假设的约束。

— bettmensch88
source