随机跟踪技术

10

我在M. Seeger（加利福尼亚大学伯克利分校，Cholesky分解的低秩更新）中遇到了以下随机跟踪技术。Rep，2007年。

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

其中 $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$ 。

作为一个没有深厚的数学背景的人，我想知道如何实现这种平等。此外，我们如何例如以几何方式解释 $\mathbf{x}^T \mathbf{A} \mathbf{x}$ ？为了理解向量的内积及其范围值的含义，应该看哪儿？为什么平均值等于特征值之和？除理论性质外，它的实际意义是什么？

我已经编写了一个MATLAB代码片段以查看它是否有效

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

迹线为15，其中近似值为14.9696。

normal-distribution matlab

— Petrichor
source

12

注意：声明的结果不依赖于。它也不取决于是正定的。实际上，仅假设的坐标均值为零，方差为1，并且不相关（但不一定独立）；也就是说，对于所有，，，并且。 $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

赤手方法

令为任意的矩阵。根据定义。然后，完成。 $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

如果情况不太明显，请注意，按照期望的线性关系，右侧为

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

通过跟踪属性进行证明

还有另一种写此方法的方法，该方法是暗示性的，但在概念上依赖稍微更高级的工具。我们需要期望值和跟踪运算符都是线性的，并且对于适当尺寸的任意两个矩阵和，。然后，由于，我们有因此 $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

二次形式，内积和椭球

如果是正定的，则可以通过来定义的内积和定义了以原点为中心的椭圆体。 $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— 红衣主教
source

跟随粗体和mormalcase变量非常令人困惑。我认为它们是标量值。当您从上一节中的期望表开始时，我会更加清楚地理解。因此现在对我来说很清楚。

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— petrichor

x_{i}

$\mathbf{x}_i$ 是向量第个坐标。其他仅仅是错别字。对于那个很抱歉。我试图尽可能地遵循您的表示法。我通常将与用作随机变量的坐标。但是，我不想（可能）混淆。

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— 主教

实际上，答案之内是一致的。我只想确保下标变量是向量的元素。现在，很明显。

— petrichor

好吧，这是一致的（现在），因为我编辑了它！:)感谢您指出错别字。在接下来的几天中，我将尝试在某些时候添加更多有关几何的信息。

— 主教

3

如果是对称正定的，则，正交，对角线上的特征值。由于具有单位协方差矩阵，并且是正交的，因此也具有单位协方差矩阵。因此写，我们有。由于期望运算符是线性的，因此这只是。每个是具有1个自由度的卡方，因此具有期望值1。因此，期望是特征值之和。 $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

在几何上，对称正定矩阵与椭圆体成1-1对应关系-由等式。椭圆轴的长度由，其中是特征值。 $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

当，是协方差矩阵，这是马氏距离的平方。 $A = C^{-1}$ $C$

— 阿普罗科皮
source

1

让我解决问题的“实际意义是什么”部分。在许多情况下，即使我们没有矩阵的存储副本或没有足够的存储空间来存储的副本，我们也能够有效地计算矩阵矢量积。例如，的大小可能为100,000 x 100,000，并且完全密集-它需要80 GB的RAM才能以双精度浮点格式存储这样的矩阵。 $Ax$ $A$ $A$ $A$

这样的随机算法可以用于估计的轨迹或（使用相应的算法）的个体对角线项。 $A$ $A$

讨论了该技术在大规模地球物理反演问题中的一些应用。

JK MacCarthy，B.Borchers和RC Aster。模型分辨率矩阵对角线的有效随机估计和大型地球物理反问题的广义交叉验证。Journal of Earthphysical Research，116，B10304，2011。链接到本文

— 布莱恩·波彻斯
source

+1我在本学期遇到了随机算法，并对它们着迷。让我添加另一篇好文章。Nathan Halko，Per-Gunnar Martinsson，Joel A. Tropp，“寻找具有随机性的结构：构建近似矩阵分解的概率算法”，2010年，arxiv.org

— abs /