用逻辑函数转换的高斯随机变量的期望值

逻辑函数和标准差通常都表示为。我将使用和作为标准偏差。$\sigma$$\sigma(x) = 1/(1+\exp(-x))$$s$

我有一个逻辑输入随机输入的逻辑神经元，其均值和标准差我所知。我希望可以通过一些高斯噪声很好地估计出与平均值的差。因此，略微使用符号，假定它产生。的期望值是多少？与或相比，标准偏差可能大或小。理想值的良好闭合形式近似值几乎与闭合形式解决方案一样好。$\mu$$s$$\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$$\sigma(N(\mu,s^2))$$s$$\mu$$1$

我认为不存在封闭形式的解决方案。这可以看作是卷积，并且逻辑密度的特征函数是已知的（），但是我不确定有什么帮助。该逆符号计算器无法识别密度物流配送的密度的卷积和标准正态分布，这说明，但并不能证明没有简单的基本积分。更多的间接证据：在一些将高斯输入噪声添加到具有逻辑神经元的神经网络的论文中，这些论文也未给出封闭形式的表达式。$\pi t ~\text{csch} ~\pi t$$0$

这个问题产生于试图了解玻尔兹曼机中平均场近似的误差。

以下是我最终使用的内容：

写其中。我们可以使用泰勒级数展开式。$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

存在收敛问题。逻辑函数有一个极点，其中，所以在，奇数。发散与前缀无用不是一回事，但是当有效时，这种级数逼近可能不可靠。$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

由于，我们可以写出的衍生物作为多项式。例如，和。该系数与OEIS A028246有关。$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

您这里拥有的是一个随机变量，它遵循对数正态（或对数正态）分布（请参阅Wikipedia），即。对数正态分布的时刻没有解析解。$\mbox{logit}[x] \sim N(\mu, s^2)$

但是，当然可以通过数值积分获得它们。如果您使用R，则有logitnorm软件包可以满足您的所有需求。一个例子：

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

这产生：

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

因此，甚至还有一个便利函数，可以直接为您提供均值和方差。