激励神经网络中的S型输出单元，以和线性非标准化对数概率开始

12

背景：我正在研究Ian Goodfellow，Yoshua Bengio和Aaron Courville撰写的《深度学习》第6章。在第6.2.2.2节（在此处可以查看 183页的182页中，鼓励使用S形输出。 $P(y=1|x)$

为了总结一些材料，他们使是应用激活之前的输出神经元，其中是先前隐藏层的输出，是权重的向量，是标量偏差。输入向量表示为（是其函数），输出值表示为，其中是S型函数。该书希望使用值定义的概率分布。从第183页的第二段：

z = w^{T} h + b

$z = w^Th+b$

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$

我们暂时忽略对的依赖，以讨论如何使用值定义的概率分布。可以通过构造未归一化的概率分布来激发S形，该概率分布之和不等于1。然后，我们可以除以适当的常数以获得有效的概率分布。如果我们假设未归一化的对数概率在和是线性的，则我们可以求幂以获得未归一化的概率。然后，我们进行标准化处理，以查看产生的z的S形变换控制的伯努利分布： $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

问题：我对两件事感到困惑，尤其是第一件事：

最初的假设来自哪里？为什么未归一化的对数概率在和呈线性关系？有人可以给我一些有关作者如何以开头的观点吗？ $y$ $z$ $\log\tilde P(y) = yz$
最后一行如何？

neural-networks deep-learning

— HBeel
source

8

有两种可能的结果。这很重要，因为此属性更改了乘法的含义。有两种可能的情况： $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

另外需要注意的是，未归一化对数概率是恒定的。此属性源自主要假设。将任何确定性函数应用于常数值将产生常数输出。当我们对所有可能的概率进行归一化时，此属性将简化最终公式，因为我们只需要知道归一化概率，而对于则始终为常数。由于网络输出的对数概率未归一化，因此我们只需要一个输出，因为另一输出假定为常数。 $y=0$ $y=1$ $y=0$

接下来，我们将求幂应用于非归一化对数概率，以获得非归一化概率。

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

接下来，我们仅对概率进行归一化，将每个未归一化概率除以所有可能的未归一化概率之和。

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

我们仅对感兴趣，因为这就是S型函数表示的概率。乍看之下，获得的函数看起来不像S型，但它们是相等的，很容易显示。 $P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

起初，最后一个语句可能会造成混淆，但这只是表明最终概率函数是S形的一种方式。该值转换到和到（或者我们可以说，这将是没有变化）。 $(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

如我们所见，这只是显示与之间关系的一种方式 $\sigma$ $P(y)$

— Itdxer
source

“另外重要的是要注意到未归一化对数概率是恒定的。此属性源自主要假设。” 假设是我们已经确定？

y = 0

$y=0$

y = 1

$y=1$

— HBeel

我认为我的困惑来自于这样一个事实，即S型曲线给模型的概率与实际标签无关。谢谢！

y = 1

$y=1$

— HBeel

在这里并不是要厚，而是在和是线性的。我希望形式为。我意识到在乘积上的将产生一个总和，这将使我更趋近于线性，但这似乎与作者所说的并不直接相关。

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

— zebullon

我知道，这实际上是一个有趣的问题。第一次阅读问题时，我并没有注意此声明。现在对我来说也很奇怪。一个问题是y二进制变量，我不确定在这种情况下如何检查线性函数的属性。我想如果您提出单独的问题会很有意义，也许有人可以向您解释为什么以这种方式编写。

— itdxer

2

我还发现本书的这一部分内容很难遵循，而且itdxer的上述答案对于那些不太熟练地运用概率和数学思维的人也应该有相当长的时间来理解。我是通过向后阅读答案来实现的，所以从z的S形开始

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

并尝试返回。

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

然后就可以理解为什么他们以yz开始解释了-这是设计使然，与最终版本相同

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

通过构造，对于y = 0可以得到-1，对于y = 1可以得到1，这是在伯努利方法下y唯一可能的值。

— 雅各布·尤雷克（Jakub Jurek）
source

0

这里有一个更正式的措词，将吸引那些具有量度理论背景的人。

令为Bernoulli rv，令表示前推量度，即对于，，令表示其非标准化对应项。 $Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

我们具有以下含义：

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

最后一个等式是映射的一个聪明的办法到 $\{0,1\}$ $\{-1,1\}$

— 加布里埃尔·罗蒙（Gabriel Romon）
source