当输入条件独立时，超平面可以对数据进行最佳分类-为什么？

10

在名为“ 深度学习和信息瓶颈原理”的论文中，作者在II A）节中指出：

单神经元只能对线性可分离的输入进行分类，因为它们只能在其输入空间实现超平面。当输入是独立的时，超平面可以对数据进行最佳分类。 $u = wh+b$

为了说明这一点，他们得出以下结论。使用贝叶斯定理，他们得到：

（1） $p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$

其中是输入，是类别，是预测类别（我假设，未定义）。继续，他们说： $x$ $y$ $y'$ $y'$

（2） $\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$

其中是输入维度，不确定（同样，两者均未定义）。考虑一个S型神经元，S型激活函数 $N$ $n$ 和预激活，将（2）插入（1）后，我们得到最佳权重值 $\sigma(u) = \frac{1}{1+exp(-u)}$ $u$ 和 $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ ，当输入值。 $b=log\frac{p(y)}{p(y')}$ $h_j=np(x_j)$

现在我的问题。我知道将（2）插入（1）会导致最佳权重和输入值。我不明白的是以下内容： $w,b,h$

（1）如何使用贝叶斯定理导出？
（2）如何得出？什么是？它是什么意思？我认为这与条件独立性有关 $n$
即使x的尺寸是有条件独立的，如何能说出x等于其缩放的概率？（即如何陈述？） $h_j=np(x_j)$

编辑：变量是一个二进制类变量。据此，我认为是“其他”类。这将解决问题1.您是否同意？ $y$ $y'$

bayesian neural-networks information-theory

— 斯普拉
source

尽管论文作者（Tishby教授）在答案中指出了指针，但我仍在努力努力理解方程2的来源。我确实了解来自条件独立性假设的部分。但是，我不确定指数

-为什么在那？

n p (x_{j})

$n p(x_j)$

— IcannotFixThis

5

对我们短篇论文中缺少的细节感到抱歉，但是似然比检验和乙状神经元之间的这些联系和联系当然并不是新鲜事物，可以在教科书中找到（例如Bishop 2006）。在我们的论文中，“ N”是输入维数，“ n”是测试样本量（假设SNR像sqrt（n）一样增长，它实际上转化为输入SNR）。作为类的后部，通过贝叶斯规则完成与S形函数的连接。本文的其余部分和我们2017年以来更新且更重要的文章均不依赖此内容。

纳夫塔利·提斯比（Naftali Tishby）

— 纳夫塔利·提斯比（Naftali Tishby）
source

2

感谢您在此处对此进行澄清。在这个社区中，标准做法是撰写完整的引文，以便感兴趣的读者可以查找源。您能为Bishop（2006）做到这一点吗？

— mkt-恢复莫妮卡

5

这是一个模型设置，其中作者使用特殊形式的贝叶斯定理，该贝叶斯定理在您具有感兴趣的二进制变量时适用。他们首先将贝叶斯定理的这种特殊形式推导为方程式（1），然后证明方程式（2）中的条件将它们引向为其网络指定的线性形式。重要的是要注意，后面的方程式不是从先前的条件中得出的，而是它是用于其网络的线性形式的条件。

$y$ $y'$ $Y$

\begin{aligned} p (y | x) = \frac{p (y, x)}{p (x)} & = \frac{p (x | y) p (y)}{p (x | y) p (y) + p (x | y^{'}) p (y^{'})} \\ = \frac{1}{1 + p (x | y^{'}) p (y^{'}) / p (x | y) p (y)} \\ = \frac{1}{1 + \exp (\log (\frac{p (x | y^{'}) p (y^{'})}{p (x | y) p (y)}))} \\ = \frac{1}{1 + \exp (- \log \frac{p (x | y)}{p (x | y^{'})} - \log \frac{p (y)}{p (y^{'})})} \\ = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) . \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$

$\mathbf{x} = (x_1,...,x_N)$ $N$

\begin{aligned} \log \frac{p (x | y)}{p (x | y^{'})} & = \log \prod_{i = 1}^{N} [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}]^{n p (x_{i})} \\ = \sum_{i = 1}^{N} n p (x_{i}) \log [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}] \\ = \sum_{i = 1}^{N} h_{i} w_{i} . \end{aligned}

$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$

因此，在这种情况下，我们得到后验形式：

\begin{aligned} p (y | x) & = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) \\ = logistic (\sum_{i = 1}^{N} h_{i} w_{i} + b), \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$

$n$ $\mathbf{x}$ $y$

— Ben-恢复莫妮卡
source

n

$n$

谢谢-我已经编辑了答案以反映此附加信息。

— 本-恢复莫妮卡

4

对于1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

$y_{i}$

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

并从那里获得对数的属性，以得出最终形式（此时应足够清楚，如果不是，请告诉我）。

— 克里斯·奥曼迪
source