导出负熵。被卡住

因此，这个问题有些牵连，但我一直在努力使之尽可能简单。

目标：长话短说，负向性的派生不涉及高阶累积量，我正试图了解它是如何产生的。

背景：（我理解所有这些）

我正在自学这本书的“独立组件分析”书。（如果您有一本书-“非多项式函数的熵近似”，则该问题来自第5.6节）。

我们有，它是一个随机变量，我们希望从一些观察中估计出其负熵。的PDF 由。负熵只是一个标准化高斯随机变量的微分熵与的微分熵之间的差。此处的微分熵由给出，使得： $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

因此，负熵由

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

其中是标准化的高斯rv，PDF由。 $v$ $\phi(\zeta)$

现在，作为这种新方法的一部分，我的书得出了的PDF的估算值，其估算公式为： $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

（其中。顺便说，是不是一个电源，但索引代替）。 $c_i = \mathbb{E}\{F^i(x)\}$ $i$

现在，我“接受”这个新的PDF公式，并在第二天询问。这不是我的主要问题。不过，他现在所做的是将的PDF版本重新插入负熵方程，最后得到： $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

请记住，sigma（在此以及在本帖子的其余部分）只是在索引周围循环。例如，如果我们只有两个函数，则信号将在和循环。当然，我应该告诉您他正在使用的那些功能。所以很显然，这些功能被定义为这样的： $i$ $i=2$ $i=2$ $F^i$

在这种情况下，函数不是多项式函数。（我们假设rv 为零均值，并且具有方差）。现在，让我们进行一些约束并给出这些函数的属性： $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
为了简化计算，让我们做另一个纯粹的技术假设：函数形成正交系统，例如： $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
和

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

差不多好了！好的，这就是背景，现在是问题所在。然后的任务是，只需将此新PDF放入微分熵公式。如果我理解这一点，我将理解其余的内容。现在，这本书给出了推导（我同意），但是我一直坚持到最后，因为我不知道/看不到它是如何被抵消的。另外，我不知道如何从泰勒展开式中解释小o表示法。 $H(x)$

结果如下：

使用泰勒展开式，对于我们得到： $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

所以

问题：（我不明白）

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

所以，我的问题是：除了，我不明白他是如何在最后一个方程式中得到最后4个项的。（即0、0和最后2个项）。在此之前我都了解。他说他已经利用了上面属性中给出的正交关系，但是我不知道如何。（从某种意义上讲，我也不理解这里的small-o表示法？） $H(v)$

谢谢！！！！

编辑：

我继续并添加了我正在阅读的书中的图像，它几乎说出了我上面所说的内容，但以防万一有人需要其他上下文。

在此处输入图片说明

$c_i^2$

— 太空的
source

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

@cardinal好，纠正了错字，谢谢。话虽如此，我不清楚他如何执行取消。我从书本上添加了真实的图像。

— Spacey 2012年

老实说，我也不知道如何或为什么将其从数学站点迁移出去。无论如何，我很高兴在这里拥有它，就像在家里一样。您已经为这个问题付出了很多努力。:-)

— 红衣主教

@cardinal听到你这么说让我非常高兴。:-)是的，希望这项自学投资有一天能得到回报。;-)

— Spacey 2012年

会的，@ Mohammad，会的！ICA也是一个非常有趣的话题:-)。

— 内斯托尔·

$c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>>要获得零项：

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

$\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

$\sum c_i^2$

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

$o(\text{whatever})$

$\text{whatever}$ $o(\text{whatever})$

PS：顺便说一下，这是一本好书。作者的主题论文也非常好，如果您想了解和实现ICA，则必须阅读。

— 内斯托
source

（+1）个好答案。如果总和是无穷大，我们在将它们与积分互换时必须更加小心。如果它们是有限的（正如OP所建议的那样，但我没有仔细观察图像），那么一切都非常简单，如您所示。:-)

— 红衣主教

c_{i}^{2}

$c_i^2$

@cardinal：哦，是的！它们是有限的（我不知道为什么我将它们写在无限的地方...）。我改变了我的答案。

— 内斯托尔·

@穆罕默德，我正在写我的答案你的另外两个问题;-)。

— 内斯托尔·

@Néstor，对此答案+1，但回复：您的最后评论，我认为big-O和little-o表示法之间是有区别的。

— 2012年