快速矩阵乘法的内存需求

假设我们要乘以乘以矩阵。慢矩阵乘法算法在时间运行，并使用内存。最快的矩阵乘法在时间，其中是线性代数常数，但是关于它的存储复杂度又知道什么呢？ $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

快速的矩阵乘法可能会消耗内存，这似乎是先验的。是否有任何保证可以在内存中完成？当前已知的矩阵乘法算法是否使用存储器？ $n^{\omega}$ $O(n^2)$ $O(n^2)$

（我实际上对矩形矩阵乘法很感兴趣，但我认为在那种情况下答案与在正方形情况下是相同的，并且对正方形情况进行了更好的研究。）

ds.algorithms linear-algebra

— 戴维·哈里斯
source

对于所有类似Strassen的算法（即，基于矩阵乘法的秩的上限的算法，空间使用量最多为）。请参阅Coppersmith–Winograd算法的空间复杂度 $O(n^2)$

但是，我在之前的回答中意识到，我没有解释为什么空间使用量为 ...所以这里有些麻烦。考虑一下类似Strassen的算法。它从用于矩阵乘法的固定算法开始，该算法对某些常数使用乘法。特别是，可以将这种算法（无论它是什么形式）编写为WLOG，以便： $O(n^2)$ $K \times K$ $K^c$ $c < 3$

它计算不同的矩阵，这些矩阵将第一个矩阵的项乘以各种标量，并将矩阵乘以第二个矩阵类似的形式 $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
它将这些线性组合相乘，然后 $L_i \cdot R_i$
它乘法条目通过各种标量，然后将所有这些矩阵高达entrywise以获得。 $L_i \cdot R_i$ $A \cdot B$

（这是所谓的“双线性”算法，但事实证明，每个“代数”矩阵乘法算法都可以用这种方式编写。）对于每个，该算法只需要在任何给定点将当前乘积和的当前值（初始设置为全零）存储在内存中，因此空间使用量为。 $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

给定这种有限算法，然后通过将大矩阵分解为维度为块，将其扩展到任意矩阵，将有限的算法应用于块矩阵，并在需要将两个块相乘时递归调用该算法。在递归的每个级别，我们只需要在内存中保留字段元素（将不同的矩阵存储）。假设矩阵乘法的空间使用量为 $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ ，此递归算法的空间使用量为，对于求解为。 $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ $S(\ell) \leq O(K^{2\ell})$

— 瑞安·威廉姆斯（Ryan Williams）
source

对于任何一种Strassen风格的算法，这对我来说都是正确的。但是Coppersmith-Winograd还证明，要降低到实际上需要无限序列的Strassen风格算法，每个算法都越来越接近真实指数。实际上，CW风格的算法和CU风格的算法都提供了这样的序列（就我们所知，尽管没有达到）。在理论上，这样的序列中使用的常量可能会非常快地增长，因此“ the”算法最终可能会使用空间。

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

— 约书亚·格罗夫

...但是根据您的说法，对于任何，总是可以在时间和空间获得一种算法。

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

— 约书亚·格罗夫

@Joshua，这些Strassen型算法的内存需求类似于，其中i是算法的索引号，并且f是可计算的。因此，如果您从搜索这些算法并且k是n的一个缓慢增长的函数，则功变为，而内存为。

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

— 戴维·哈里斯

@DavidHarris：嗯，当然，只要是缓慢增长相比足够，即至多增长尽快。问题是，对于任何给定的家庭，是多少，增长多快。但是，不能保证会足够缓慢地增长以达到整体内存使用量

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

— Joshua Grochow

@约书亚这个想法是，在长度为输入上，我们搜索前推定的Strassen型算法，验证它们是否有效，然后选择最快的算法。只需选择作为的函数，即可使。由于，这意味着任何的Strassen型算法将被选择足够大。因此，时间也转到。

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

— 大卫·哈里斯

更一般地，可以在每个处理器的存储器中的处理器上完成快速矩阵乘法。但是，处理器之间的通信则不是最佳的。通过使用更多的内存可以实现最佳通信。据我所知，尚不清楚是否可以同时实现最佳通信和最佳存储。详细信息在http://dx.doi.org/10.1007/PL00008264 $p$ $O(n^2/p)$

— 亚历山大·提斯金
source