具有矩阵约束的线性规划

总览

您可能想尝试乘数交替方向方法（ADMM）的变体，发现该方法对于套索类型问题出奇地收敛。策略是用增强的拉格朗日公式来表达问题，然后对偶问题进行梯度上升。对于此特定的正则化问题特别好，因为该方法每次迭代的不平滑部分都有一个精确的解决方案，您可以简单地逐个元素地求值，而平滑部分涉及求解线性系统。 $l_1$ $l^1$

在这篇文章中，我们

为问题的概括推导一个整体的ADMM公式，
推导每个ADMM迭代的子问题并将其专门化为您的情况，然后
研究需要在每次迭代中求解的线性系统，并基于对和的特征值分解（或其低阶近似）进行预先计算，从而开发一种快速求解器（或预处理器）。 $M^TM$ $YY^T$
总结一下总结

以下绝妙的评论文章涵盖了此处的大多数大创意，

博伊德，斯蒂芬等人。“通过乘数的交替方向方法进行分布式优化和统计学习。” 机器学习中的Foundations andTrends®（2011）：1-122。http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

在详细讨论之前，我想指出这是一个方法/算法答案，而不是现有的实用代码答案-如果要使用此方法，则需要滚动自己的实现。

ADMM公式

通常，假设您要求解

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

经过适当的向量化处理后，原始帖子中的问题属于此类。（这只是原则上的-我们将看到实际上不需要进行矢量化处理）

您可以改用，具有拉格朗日

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

乘数的交替方向方法通过对偶变量上的梯度上升来解决对偶问题，除了对偶子问题上的不精确交替投影。即，执行一次迭代

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

在参数和（在上面的Boyd＆Parikh论文中进行了解释）的某些适度条件下，ADMM方法将收敛到真实的解。收敛速度是线性的，因为它的核心是梯度上升方法。通常，可以通过以下方法将其加速为超线性：1）根据启发式方法更改参数和，或2）使用Nesterov加速。有关更改惩罚参数的说明，请参见Boyd调查报告；对于将Nesterov加速与ADMM结合使用，请参见以下论文： $\alpha$ $\beta$ $\alpha$ $\beta$

Goldstein，Tom，Brendan O'Donoghue和Simon Setzer。“快速交替方向优化方法。” CAM报告（2012）：12-35。ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

但是，即使总体收敛速度只是线性的，对于问题，已经观察到该方法可以非常迅速地找到稀疏模式，然后在精确值上收敛得更慢。由于找到稀疏模式是最困难的部分，因此这是非常偶然的！似乎是当前研究领域的确切原因。每个人都看到稀疏模式迅速收敛，但是似乎没人确切知道它为什么会发生。不久前，我通过电子邮件向Boyd和Parikh询问了有关此内容的信息，Parikh认为可以通过在控制系统上下文中解释该方法来进行解释。在下面的附录中可以找到对该现象的另一种启发式解释， $l^1$

Goldstein，Tom和Stanley Osher。“ L1正则化问题的分裂Bregman方法。” SIAM影像科学杂志2.2（2009）：323-343。ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

当然，现在的困难在于解决针对您的特定情况的和更新子问题。由于拉格朗日在是平方的，因此更新子问题仅需要求解线性系统。的子问题似乎更难，因为它是不可微的，但事实证明，存在用于解决方案，可以通过元件施加元件的精确配方！现在，我们将更详细地讨论这些子问题，并在原始帖子中将它们指定为问题。 $x$ $z$ $z$ $z$ $x$

设置为更新子问题（线性系统） $z$

对于更新，我们有 $z$

{a r g m i n}_{z} L (x_{k}, z, λ_{k}, γ_{k}) = {a r g m i n}_{z} \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

专门针对您的问题，它变成

\begin{aligned} {a r g m i n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r o}^{2} + \frac{α}{2} | | B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r o}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

其中表示Frobenius 范数（元素）。这是二次最小化问题，可以通过针对和取目标的偏导数并将它们设置为零来找到一阶最优条件。这是 $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

正如原始海报贾斯汀·所罗门（Justin Solomon）的评论所指出的那样，该系统是对称的，因此共轭梯度是一种理想的无矩阵方法。下一节将讨论此系统以及如何更详细地解决/预处理它。 $Z_J,Z_B$

解决更新子问题（解析阈值解决方案） $x$

现在我们转到子问题 $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {a r g m i n}_{x} \sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

首先要看的是，总和可以逐个元素分解

\sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \sum_{i} | x_{i} | + \frac{α}{2} \sum_{i} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

因此，我们可以逐个元素并行地解决优化问题，得到

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

此方程式的一般形式为

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

绝对值函数试图将最佳点拉向，而二次项试图将最佳点拉向。因此，真正的解决方案位于两者之间的线段上的某个位置，增大倾向于将最佳点拉向，而减小倾向于将最佳点拉向。 $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

这是一个凸函数，但不能为零。最小化点的条件是目标在该点的微分包含零。二次项具有衍生物，并且绝对值函数具有衍生物为，集值次导数作为间隔当，和衍生物为。因此，我们得到了总体目标函数的子导数 $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

由此可见，当且仅当，目标在的导数包含，在这种情况下是最小化器。另一方面，如果不是最小化器，那么我们可以将单值导数设置为零，然后求解最小化器。这样做会产生 $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

将结果再次专门我们要在原始问题中尝试解决的实际问题，其中产生的更新只是 $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

正如原始海报贾斯汀·所罗门（Justin Solomon）在评论中指出的那样。总体而言，对进行更新仅需要遍历矩阵的条目并为每个条目评估上述公式。 $J,B$

系统的Schur补码 $Z_J,Z_B$

迭代过程中最昂贵的步骤是求解系统，

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

为此，值得为此系统构造一个好的求解器/预处理器。在本节中，我们通过矢量化，形成Schur补码，进行一些Krnoecker乘积运算然后取消矢量化来实现。得到的Schur补码系统是一个经过稍微修改的Sylvester方程。

接下来，关于矢量化和Kronecker产品的以下标识绝对是关键：

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ，
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ ，并且
$(A \otimes B)^T = A^T \otimes B^T$ 。

只要矩阵大小和可逆性使得方程的每一侧都是有效表达式，这些标识就成立。

系统的向量化形式为

(α I + β [\begin{matrix} I \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes I \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

或

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α I + β Y Y^{T}) \otimes I \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

其中和是右侧的简写符号。现在，我们在冷凝Kronecker产品的过程中执行块高斯消除/ Schur补码以消除矩阵的左下块。这是 $F$ $G$

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} \end{matrix}] \dots \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) - β Y \otimes M (α I + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

非向量化，我们必须依次求解的两个方程是

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

为方形高阶时Schur补码系统的解 $Y,M$

在本节中，我们通过使用矩阵预先计算的完整 SVD 并为Sylvester应用Bartels-Stewart算法的修改版本，来解决（上面的方程1）的Schur补码系统。方程。与标准版本相比，该算法略有修改，以在第二项中考虑额外的，这使其与Sylvester方程式不同。一旦经由第一方程发现，可以从第二方程容易被发现。通过您喜欢的任何方法来求解第二个方程都是很简单的。 $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

该方法在ADMM流程开始之前需要先期成本来预先计算两个完整的SVD，但是这种方法可以快速应用于实际的ADMM迭代中。由于该方法处理约束矩阵的完整SVD，因此当它们接近正方形和高秩时是合适的。使用低等级SVD的更复杂的方法也是可能的，但将在后面的部分中介绍。

该方法发展如下。让分别表示预先计算的满奇异值分解，并冷凝的右手侧是。然后，第一等式变成，乘法通过正交因子清除左右，并设置一个新的临时未知数，这进一步变为

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

现在，我们可以找到通过求解对角线系统， $A$

((α I + D) \otimes I + D \otimes β Σ (α I + Σ)^{- 1} Σ) v e c (A) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

找到，我们计算，并且知道可以解决上面针对的第二个方程，这很简单，因为我们已经具有的特征值分解。 $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

前期成本是计算和两个对称正定特征值分解，然后一次完整求解的每次迭代成本由少数矩阵矩阵乘法控制，而矩阵矩阵乘法的阶数相同幅度为1 CG重复。如果前期特征值分解的成本太高，则可以通过例如提前终止Lanczos迭代并保留最大的特征向量来进行不精确的计算。然后，该方法可以用作CG的良好预处理器，而不是直接求解器。 $M^TM$ $YY^T$

非常矩形或具有低秩近似的求解方法 $M,Y$

现在我们将注意力转移到求解或预处理时：a）输入矩阵非常矩形-意味着它们的行多于列，反之亦然-或者b）秩近似低。下面的推导涉及Woodbury公式，Schur补语和其他类似操作的广泛使用。 $Z_J,Z_B$ $M,Y$

我们从Schur补码系统开始

(α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

几次操作将该系统转换为更对称的形式，

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I) v e c (Z_{B}) = (I \otimes (I + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

现在我们引入低秩近似。令是约 SVD或和低秩近似（是占位符，不是用过的）。将它们代入我们的系统会产生以下我们希望应用的矩阵逆

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α I + β I \otimes W Σ W^{T} + β Y Y^{T} \otimes I)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

由于我们要求逆的矩阵是对身份的低阶更新，因此逻辑策略是尝试使用伍德伯里公式

(A + U C U^{T})^{- 1} = A^{- 1} - A^{- 1} U (C^{- 1} + U^{T} A^{- 1} U)^{- 1} U^{T} A^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

但是，由于低阶和不正交，因此需要谨慎。因此，为了应用伍德伯里公式，我们将两个低等级更新都收集到一个大更新中。这样做并应用伍德伯里公式得出 $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} I + β [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] [\begin{matrix} I \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}])}^{- 1} = α I - \frac{β}{α^{2}} [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] {[\begin{matrix} I \otimes (Σ^{- 1} + \frac{β}{α} I) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & (D^{- 1} + \frac{β}{α} I) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

可以通过逐块2x2逆公式

{[\begin{matrix} A & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (A - B C^{- 1} B^{T})^{- 1} & - A^{- 1} B (C - B^{T} A^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (A - B C^{- 1} B^{T})^{- 1} & (C - B^{T} A^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

这篇文章已经足够长了，所以我将省去冗长的计算细节，但是最终结果是将必要的子矩阵插入到块式逆中，并将所有乘积相乘，得出整体逆的以下明确形式，

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I)^{- 1} = \frac{1}{α} I - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

其中

\begin{aligned} t_{11} & = \frac{α}{β} I \otimes W l^{- 1} W^{T} \\ s_{11} & = (Q \otimes W l^{- 1}) D_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes I \\ s_{22} & = (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes I - I \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(I \otimes l - h^{- 1} \otimes I)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + I \\ h & = \frac{α}{β} D^{- 1} + I . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

通过这种形式，我们可以应用逆函数，并通过8个左右矩阵乘法三明治将其找到项。应用Kronecker乘积之和的一般公式为 $Z_B$

((A_{1} \otimes B_{1}) + (A_{2} \otimes B_{2}) + \dots) v e c (C) = v e c (B_{1}^{T} C A_{1} + B_{2}^{T} C A_{2} + \dots) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

请注意，我们最终得到的所有显式逆都是对角线，因此没有什么可以“求解”的。

线性求解器代码

我在Matlab中实现了以上两个求解器。似乎运作良好。求解器代码在这里。 $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

这里有一个用于检查求解程序是否正常工作的测试脚本。还通过示例显示了如何调用求解器代码。

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

结束语

ADMM类型的方法非常适合解决此类问题，但是您需要滚动自己的实现。该方法的整体结构非常简单，因此在像MATLAB这样的东西中实现起来并不困难。

这篇文章中缺少的，需要为完全定义您的问题的方法而指定的部分是惩罚参数。幸运的是，只要参数值不疯狂，该方法通常就相当健壮。博伊德和帕里克（Boyd and Parikh）的论文中有一个关于惩罚参数的章节，其中的参考文献也有介绍，但是我只是对这些参数进行实验，直到获得合理的收敛速度为止。 $\alpha,\beta$

如果约束矩阵是a）密集，正方形和高秩，或者b）具有良好的低秩逼近提出的求解器策略非常有效。可能是未来工作主题的另一个有用的求解器可能是针对以下情况进行优化的求解器-约束矩阵稀疏且方形且具有较高的秩，但是对于存在良好的前置条件。例如，如果是离散的拉普拉斯算子，那就是这种情况。 $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— 尼克·阿尔格
source

立即实施！要进行检查，因为和的矩阵解来自最小二乘，所以它应该是对称/正定的，对吗？根据经验，这似乎是正确的：-)。那么，CG比GMRES更好吗？

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— 贾斯汀·所罗门2014年

另外，我认为B的更新有误吗？我正在更详细地研究它，但是回想起B并没有出现在我的能量函数中（没有项），因此我不确定它应该只采用我在想这个错误吗？谢谢！

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— 贾斯汀·所罗门

[errr相反， ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— 贾斯汀·所罗门

惊人！在为和输入我自己的公式（可能与您发布的内容接近/相等，但有些地方不起作用）之后，这远远超过了IRLS方法。谢谢！

J

$J$

B

$B$

— 贾斯汀·所罗门

好消息。很高兴看到这里的贡献何时能带来真实的结果。

— 迈克尔·格兰特

您可能希望使用无矩阵方法进行线性编程。我不知道有什么专门用于线性编程的方法，但是存在用于二次程序和一般非线性程序的无矩阵内点方法。二次程序的情况恰好与您的问题相对应，此时二次形式系数均为零。（您也可以定制使用精确线性求解来解决问题结构的方法，但是这种定制的实现可能不值得，并且不如使用无矩阵方法实用。）

我不知道任何实现内点方法无矩阵变体的商业优化软件包。IPOPT应该为非线性编程实现一种无矩阵内点方法，但是我无法追踪使您能够使用它的API调用。

除了CVX，您可能还可以使用GAMS或AMPL输入一次矩阵，并在建模语言中设置约束以使用该矩阵。但是，CVX，GAMS和AMPL的求解器后端使用的方法并不使用无矩阵求解器；所有这些都将需要标准形式的线性程序的完整系数矩阵，这将是巨大的（这将是矩阵的Kronecker乘积）。可能发生的情况是，您使用建模语言以上述形式输入了线性程序，然后建模语言会将数据转换为后端求解器可用的形式。这种形式将需要巨大的矩阵，而且我怀疑您会遇到相同类型的错误（除非您在具有足够内存的计算机上运行）。

— 杰夫·奥克斯伯里
source

看来我尝试了所有正确的方法！我最初使用CVX进行了实验，但失败了，所以我改用IPOPT。但是IPOPT也有同样的问题。我不知道它有无矩阵选项，所以我看看是否可以解决。

— 贾斯汀·所罗门

我不确定GAMS / AMPL是否能解决我的问题。我很乐意以任何形式帮助解决问题的人编写问题的代码，但是正如您所说的那样，采用Kronecker产品在幕后将行不通。

— 贾斯汀·所罗门

您能负担得起Geoffrey Irving提到的那些SVD吗？如果可以的话，我将考虑采用迭代加权最小二乘法（IRLS）。这种方法可以解决，其中是权重矩阵。

\begin{array}{ll} minimize & \sum_{i j} W_{i j} J_{i j}^{2} \\ subject to & M J + B Y = X \end{array}

$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$

W

$W$

迭代以作为全1矩阵开始；这产生一个最佳的。迭代以，其中是一个小常数，可防止被零除。我对收敛标准并不完全确定，但也许我上面提供的Wikipedia链接可以为您提供参考。 $W^{(0)}$ $J^{(0)}$

W_{i j}^{(k + 1)} = {| max {J_{i j}^{(k)}, ϵ} |}^{- 1}

$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$

ϵ

$\epsilon$

您还可以考虑平滑的一阶方法。我与他人合着的TFOCS可以使用其“平滑圆锥对偶”（SCD）求解器来解决此问题，但是使用起来并不容易。

如果您确实想尝试无矩阵内点方法，请阅读Jacek Gondzio的著作。

编辑：嗯，可能是IRLS无法使用SVD计算解决方案的情况。如果是这样，我将退回到其他选择之一。

— 迈克尔·格兰特
source

我不确定是否可以在这里使用SVD，但是无论如何，IRLS都是一个好主意！速度并没有像记忆那么重要，而且令人尴尬的是，几个月前，我使用IRLS进行了相关研究，并且效果很好（因为自己以前没有尝试过，所以让自己感到惊讶！）。即使没有用于IRLS的SVD，也应该可以使用不需要完整系统的线性求解器（例如CG）来实现。实际上，可以按照您的建议在调整之前使用相当宽松的约束来停止CG 。也正在研究ADMM方法，但是我的经验较少。

W_{i j}

$W_{ij}$

— 贾斯汀·所罗门

是的，ADMM也会很棒。我实际上写了一个部分，建议您完全消除Y，但后来我发现不是正方形。

M

$M$

— 迈克尔·格兰特

实施IRLS策略-收敛，但数值上效果不佳，因为由于的范围很广，它必须求解的线性系统是病态的；使用GMRES解决系统。接下来将尝试ADMM！

w

$w$

— 贾斯汀·所罗门

您可以尝试使用CVX，它可以让您完全按照编写的形式对其进行编码（即，以为矩阵而不是向量）。可以使用更通用的凸解算器代替LP解算器来解决，但是如果凸解算器成功，那么我想您不会介意。 $X$

另一种可能性：使用求解器，使您的约束矩阵可以存储为稀疏矩阵。这仍然需要比您需要的内存更多的内存，但是远远少于将它们存储为密集矩阵的内存。在CVX中，如果您使用的kron是稀疏矩阵，那么尝试一下将是微不足道的。

— 大卫·凯奇森
source

如果由于某种原因，Python比MATLAB更方便，那么还有cvxpy，尽管它不如cvx完善。

— k20 2014年

我的怀疑是，这种方法将在表面上起作用，然后在CVX建模语言将输入数据转换为可由其后端求解器使用的形式（它将求解线性程序，二次程序，二阶锥程序，半定值程序和几何程序）。我在回答中解释原因。Gurobi后端是同类最佳的LP解算器（在其他类型中），因此就实现而言，将CVX与该算法结合使用可能是最好的方法，而不是从编译语言API中调用CVX。

— Geoff Oxberry 2014年

正如Geoff所说，这里没有建模层可以为您提供帮助。生成的LP具有针对任何标准通用求解器重复的数据。为了避免这种情况，您将必须使用（开发）基于oracle的求解器，即，该求解器本质上是基于返回给定和/或某些值的剩余适当的剪切，然后改为使用该描述。

M J + B Y - X

$MJ+BY-X$

J, Y

$J,Y$

— JohanLöfberg2014年

是的，我确实遇到了Geoff提到的问题。实际上，我最初使用CVX进行了猜测。我也尝试过直接致电Gurobi，但我想做的唯一方法是进行相同的展开操作。

— 贾斯汀·所罗门

我认为您必须自己动手

— JohanLöfberg2014年