是什么证明了矩阵函数导数的这种计算是合理的？

在吴安德（Andrew Ng）的机器学习课程中，他使用以下公式：

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

他做了一个快速证明，如下所示：

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

没有任何评论，证明似乎非常密集，我很难理解它。从第二平等到第三平等到底发生了什么？

machine-learning matrix derivative

— 钱球
source

他必须对

A

$A$ ，

B

$B$ 和

的尺寸进行特殊假设

C

$C$ ，否则该公式通常毫无意义。对于任意非负整数

在左侧

A

$A$ 必须是

i \times j

$i\times j$ 矩阵，

B

$B$ a

j \times j

$j\times j$ 矩阵和

C

$C$ an

i \times m

$i\times m$ 矩阵。但是，除非

否则将无法定义右边的乘积。

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@whuber我明白了。考虑到这些假设，我仍然不了解他介绍

如何从第二行过渡到第三行的。

\circ

$\circ$

— MoneyBall

在第二和第三线之间他让

。在第二行和第三行之间，他使用了乘积规则。后来他使用链规则摆脱了

。

f (A) = A B

$f(A)=AB$

f ()

$f()$

— Brian Borchers

对该符号进行了微妙但严重的滥用，使许多步骤变得混乱。让我们回到矩阵乘法，转置，迹线和导数的定义来解决这个问题。对于那些希望省略说明的人，只需跳至最后一节“将所有内容放在一起”，即可看到严格的演示有多简短。

表示法和概念

尺寸图

对于表达有道理当是矩阵，必须是（正方形）矩阵和必须是矩阵，从那里的产品是一种矩阵。为了得到迹线（对角线元素的总和，），则，使 $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$ 方阵。

衍生品

符号“ ”似乎是指所述衍生物的表达相对于。通常，微分是对函数进行的运算。在一个点处的导数是线性变换。选择这些向量空间的基数后，这种变换可以表示为矩阵。 这里情况不同！ $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

矩阵向量

取而代之是，视为的元素：将其系数展开（通常逐行或逐列）到长度为的向量中。函数具有实数值，从那里。因此，必须为矩阵：它是一个行向量，表示 $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ 。但是，问题中的计算使用了另一种表示线性形式的方法：它们的系数回滚到矩阵中。 $\mathbb{R}^{mn}$ $m\times n$

轨迹为线性形式

令为常数矩阵。然后，根据迹线和矩阵乘法的定义， $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

这表示的系数的最通用的线性组合：是与形状相同的矩阵，并且在第行和第列的系数是线性组合中的的系数。因为，所起的作用和可切换时，给予相当于表达 $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

通过识别一个常数矩阵与任一功能或，我们可以表示上的空间线性形式矩阵作为矩阵。 （不要将它们与从到的函数的导数混淆！） $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

计算导数

定义

从定义中可以最轻松，最可靠地计算出统计中遇到的许多矩阵函数的导数：您实际上并不需要诉诸复杂的矩阵微分规则。这个定义说，当且仅当存在线性变换使得在可微分，使得 $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

为任意小的位移。小-OH表示法是指在近似差所产生的误差由是任意比的尺寸小为足够小。特别是，我们可能总是忽略与成正比的误差。 $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

计算

让我们将定义应用于相关函数。用两个的乘积来乘，扩展和忽略该术语， $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

为了确定导数，我们必须将其转化为形式。在右边的第一项是已经在该形式中，与。右边的其它术语具有以下形式为。让我们这样写： $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

$X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

$f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

放在一起

那么，这里是一个完整的解决方案。

$A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

因为这仅花费了大约一半的工作，并且仅涉及矩阵和迹线（乘法和转置）的最基本操作，所以必须将其视为结果的更简单且可以说更直观的演示。如果您真的想了解原始演示中的各个步骤，则可以将它们与此处显示的计算进行比较，这很有用。

— ub
source

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

@Amoeba没错-它充分证明了此答案第一行中的断言。这就是为什么我写了“从这个意义上说”，并且在摘要的后面使用了“由…… 决定”而不是“等于”。我不会否认这一解释具有挑战性。我会考虑如何进行澄清，感谢您提出的所有意见和建议。

— whuber

@ user10324我在本网站上发布的大部分内容都是我自己的表述-我很少咨询资源（并且在这样做时会对其进行记录）。这些职位是从阅读许多书籍和论文中摘录的。一些最好的书并不是那些在数学上完全严格的书，但是它们很好地解释和说明了基本思想。浮现在脑海中的几个人（按复杂程度排序）是Freedman，Pisani和＆Purves，Statistics（任何版本）；杰克·基弗（Jack Kiefer），《统计推断简介》；和史蒂夫·史里夫（Steven Shreve），《金融随机算术II》。

— whuber

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$