多类逻辑回归

我得到了用于多类逻辑回归的模型，由

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

其中k是类数theta是要估计的参数j是第j类Xi是训练数据

好吧，我没有得到的是分母部分对模型进行归一化。我的意思是使概率保持在0到1之间。

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

我的意思是我习惯逻辑回归

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

实际上，我对标准化的东西感到困惑。在这种情况下，由于它是一个S型函数，因此永远不会让该值小于0或大于1。但是在多类情况下，我感到困惑。为什么会这样呢？

这是我的参考https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html。我认为它应该是被归一化

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— 用户名
source

提示：在逻辑回归中，隐式地有两个概率要处理：概率和概率。这些概率必须为。

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— ub

根据您的其他一些帖子，您知道如何标记方程式。此处的文本方程式难以阅读且（下标？）令人困惑-您可以用

标记它们吗

？

L A T E X

$\LaTeX$

— 2012年

由于您在此处发布了太多问题，因此请暂停阅读我们的常见问题解答，以了解如何提出好的问题。阅读有关

的帮助

标记，因此您可以使方程式可读。

T E X

$\TeX$

— ub

我已经编辑了等式。@ whuber实际上，我对与多类逻辑回归而不是二进制回归感到困惑。我担心在统治者中添加所有元素后如何归一化概率

— user34790

@ user34790，当您将每个项除以和时，则各个类别的概率之和为1。那么，

是什么？

X^{(i)}

$X^{(i)}$

— 2012年

Answers:

您的公式有误（总和的上限）。在具有类别（）的逻辑回归中，您基本上会创建二进制逻辑回归模型，在其中选择一个类别作为参考或枢轴。通常，选择最后一个类别作为参考。因此，可以通过计算参考类别的概率 $K$ $K> 2$ $K-1$ $K$ 概率的一般形式是

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

作为

个类是参考

因此

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

在结束时，你获得所有下式

：

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— sebp
source

请注意，如果您正在做最大可能性，则参考类别的选择并不重要。但是，如果您要进行惩罚最大似然法或贝叶斯推理，那么将概率过参数化通常会更有用，而让惩罚选择处理过参数化的方法。这是因为，大多数惩罚函数/先验对于参考类别的选择不是不变的

— 概率

i

$i$

i

$i$

k

$k$

$k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

$\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— 共轭先验
source