了解逻辑回归和可能性

参数估计/逻辑回归训练如何真正起作用？我将尽我所能。

输出是y的逻辑函数输出，其概率形式取决于x的值： $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
对于一个维度，所谓的赔率定义如下： $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
现在添加log函数以线性形式获取W_0和W_1： $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
现在到问题部分 使用似然性（Big X是y）谁能说出为什么我们两次考虑y = 1的概率？由于： $L (X | P) = \prod_{i = 1, y_{i} = 1}^{N} P (x_{i}) \prod_{i = 1, y_{i} = 0}^{N} (1 - P (x_{i}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ $P (y = 0 | x) = 1 - P (y = 1 | x)$ $P(y=0|x)=1-P(y=1|x)$

以及如何从中得到ω的值？

regression logistic likelihood

— 发动机
source

Answers:

总体上假设您决定采用以下形式的模型

P (y = 1 | X = x) = h (x; Θ)

$P(y=1|X=x) = h(x;\Theta)$

对于某些参数。然后，您只需写下它的可能性，即 $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

这与

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} (1 - P (y = 1 | x = x; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

现在您已经决定“假设”（模型）

P (y = 1 | X = x) = σ (Θ_{0} + Θ_{1} x)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

其中

σ (z) = 1 / (1 + e^{- z})

$\sigma(z) = 1/(1+e^{-z})$

因此，您只需计算似然的公式并执行某种优化算法即可找到，例如，牛顿法或任何其他基于梯度的方法。 $\text{argmax}_\Theta L(\Theta)$

请注意，有时候人们会说，当他们进行逻辑回归时，他们并没有使可能性最大化（就像我们在上面所做的那样），而是使损失函数最小化

l (Θ) = - \sum_{i = 1}^{N} y_{i} \log (P (Y_{i} = 1 | X = x; Θ)) + (1 - y_{i}) \log (P (Y_{i} = 0 | X = x; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

但请注意。 $-\log(L(\Theta)) = l(\Theta)$

这是机器学习的一般模式：实践方面（最小化衡量启发式模型有多“错”的损失函数）实际上等于“理论方面”（使用符号显式建模，从而最大化统计量，例如实际上，许多看起来不像概率模型的模型（例如SVM）可以在概率上下文中重新理解，并且实际上是似然性的最大化。 $P$

— 法比安·沃纳（Fabian Werner）
source

@Werner感谢您的回答。但是我仍然需要澄清一下。第一，请问一下定义中2在地球上的作用是什么，因为据我了解，我对。以及如何获取和的值非常感谢您的帮助！

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

— 引擎

@Engine：大的“ pi”是一个产品...就像一个大的Sigma是一个总和...您了解还是需要对此进行更多说明？关于第二个问题：假设我们希望尽量减少一个函数，我们开始在，但是让我们假设，我们不知道/无法表达/不能想像，因为它是复杂。现在的导数是。有趣的是，如果我们在最小值正确，则它指向右边，而如果我们在左边，则它指向左边。数学上，导数指向“最强上升”的方向

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$

— Fabian Werner

@Engine：在更多维度上，您可以用梯度替换导数，即从一个随机点并计算处的梯度，如果要最大化，则下一个点为。然后，计算，下一个是，依此类推。这称为梯度上升/下降，是使函数最大化的最常用技术。现在，您可以使用或用符号，以便找到使最大化的

x_{0}

$x_0$

\partial f

$\partial f$

x

$x$

x_{1}

$x_1$

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$

\partial f (x_{1})

$\partial f(x_1)$

x

$x$

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$

L (Θ)

$L(\Theta)$

L (ω)

$L(\omega)$

ω

$\omega$

L

$L$

— Fabian Werner

@Engine：您完全不关心的情况！您对“最好地解释您的数据” 的感兴趣。从 aou开始，让模型“为自己说话”，然后回到的情况，但首先您需要设置模型！在这里，“最好的解释”是指“具有最高的可能性”，因为这是人们想出的（我认为这很自然）……但是，还有其他指标（不同的损失函数等）可以用！有两种产品，因为我们想要的模型来解释以及在 “好”！

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$

y = 0

$y=0$

— Fabian Werner

您的似然函数（4）由两部分组成：仅样本中成功的人的成功概率乘积，以及样本中只有失败的人的成功概率乘积。假设每个人都经历成功或失败，但不会两者都经历，则该概率仅对每个人出现一次。这就是和在产品符号底部的含义。 $, y_i=1$ $,y_i=0$

通过将（1）代入（4），将系数包括在似然函数中。这样，似然函数变为的函数。最大可能性的点是找到将最大可能性变为最大的。 $\omega$ $\omega$

— 马丁·布伊斯（Maarten Buis）
source

非常感谢您的回答，对不起，但仍然听不懂。不是表示乘积的所有y y = 0 [不出现]的概率。反之亦然，y_i = 1。仍然在替换后如何找到值，计算二阶导数？还是渐变？非常感谢你的帮助！

y_{i} = 0

$y_i = 0$

ω

$\omega$

— 引擎

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$ 应该被理解为“到人的乘积，但仅当。所以第一部分仅适用于您数据中经历过该事件的那些人同样，第二部分仅指未经历此事件的人

i = 1

$i=1$

N

$N$

y = 1

$y=1$

— Maarten Buis

有许多可能的算法可以使似然函数最大化。最常见的方法是Newton-Raphson方法，实际上涉及计算一阶和二阶导数。

— Maarten Buis