GLM的“链接功能”和“规范链接功能”有什么区别

65

术语“链接功能”和“规范链接功能”有什么区别？另外，使用一个相对于另一个有什么（理论上的）优势？

例如，可以使用许多链接函数（例如logit，probit等）对二进制响应变量进行建模。但是，这里的logit被视为“规范”链接函数。

logistic generalized-linear-model link-function

— 鱼
source

10

我在这里广泛讨论链接函数：logit模型和probit模型之间的区别，着重于二进制响应变量的回归。尽管该讨论中只有一小部分集中在链接功能是“规范”的含义上，但是它可能对阅读有所帮助。请注意，要了解规范与非规范链接函数的区别b / t和优点，需要深入了解GLiM的数学基础。

— gung

68

上面的答案更加直观，因此我尝试更严格。

什么是GLM？

令表示一组响应和维协变量向量，期望值为。对于独立观测，每个的分布是密度为的指数族在这里，感兴趣的参数（自然或规范参数）是，是比例参数（已知或被视为令人讨厌），而和是已知功能。该 $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$ 解释变量的固定输入值的三维向量由。我们假设输入向量仅通过线性函数影响线性变量，线性预测因子取决于。可以证明，此依赖关系是通过均值连接线性预测变量和来建立的。更具体地说，平均值被视为线性预测变量的可逆和平滑函数，即

p

$p$

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$ 现在回答您的问题：

函数称为链接函数。如果函数以连接，和，则此链接称为规范链接，形式为。 $g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

而已。然后，使用规范链接有许多理想的统计属性，例如，对于分量，足够的统计量为，对于如果发现ML估计量一致，则这些链接简化了MLE的推导，它们确保线性回归的某些属性（例如，残差之和为0）成立，或者确保保持在结果变量的范围内。 $X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

因此，它们倾向于默认使用。但是请注意，没有先验的理由可以说明模型中的效果应在此链接或任何其他链接给定的比例上加和。

— 桃木
source

5

+ 1，@ Momo这是一个非常好的答案。我确实发现某些方程式被埋在段落中时更难于理解，因此我通过使用双美元符号（即$ $）来“屏蔽”它们。我希望可以（如果没有，您可以回退，但要道歉）。

— gung

1

@Momo这里的原始问题确实包含了Wei的问题，因此值得指出的是尚未得到明确的答案。

— Glen_b 2014年

1

我希望我能正确理解您的困惑：在您谈论的指数族中，规范参数为，规范链接为，即。同样（如果计算相对于似然函数的的一阶导数的期望值），唯一的情况是当。

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

— Momo 2014年

1

非常感谢你。使用前面的示例，我们具有。因此。正如您所说（我只是改写），如果是规范链接（即logit ），则只有。然后我们将有。因此，如果使用规范链接函数，则和预测变量仅存在相等性。

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$

— Druss2k 2014年

2

答案的关键句似乎有错别字：它不应该读成“如果函数将和 st ”？

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

— Leo Alekseyev

16

gung引用了一个很好的解释：规范链接具有最小的充分性的特殊理论属性。这意味着您可以通过以结果数为条件来定义条件logit模型（经济学家称其为固定效应模型），但是您无法定义条件probit模型，因为没有足够的统计数据可用于probit链接。

— 斯塔克
source

您能否详细说明一下最低充裕度？通过以上解释，我们仍然可以定义一个概率模型，对吗？肯定不会是规范链接函数，但是使用非规范链接函数有什么害处。

— pikachuchameleon

9

这是从MIT的18.650类中汲取灵感的小图，我发现它非常有用，因为它有助于可视化这些功能之间的关系。我使用了与@momo帖子中相同的符号：

$\gamma(\theta)$ 是累积矩生成函数
$g(\mu)$ 是链接函数

因此，链接函数 将线性预测变量与平均值相关联，并且要求其是单调递增的，连续可微的和可逆的。 $g$

该图允许轻松地从一个方向转到另一个方向，例如：

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

规范链接功能

使用Momo严格描述的另一种方法是，当是规范链接函数时，则函数组成是身份，因此我们得到 $g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— Xavier Bourret Sicotte
source

1

上面的答案已经涵盖了我想说的内容。为了澄清作为机器学习研究人员的几点：

链接函数不过是激活函数的逆函数。例如，logit是S形的倒数，probit是高斯累积分布函数的倒数。
如果我们将广义线性模型的参数仅依赖于，其中为权重向量，为输入，则链接函数称为规范。 $w^T x$ $w$ $x$

上面的讨论与指数族无关，但是可以在Christopher Bishop的PRML书第4.3.6章中找到很好的讨论。

— 张国军
source