递归（在线）正则化最小二乘算法

谁能指出我的Tikhonov正则化（正则化最小二乘）在线（递归）算法的方向吗？

在离线环境，我将计算β = （X Ť X + λ我）- 1 X Ť ÿ使用在我的原始数据集λ是使用n重交叉验证中发现。一个新的ÿ值可以预测对于给定的X使用Ŷ = X Ť β。$\hat\beta=(X^TX+λI)^{−1}X^TY$$λ$$y$$x$$y=x^T\hat\beta$

在在线设置中，我不断绘制新的数据点。如何更新β当我绘制新的额外的数据样本不会对整个数据集做了充分的重新计算（原件+新）？$\hat\beta$

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

让，然后$M_n^{-1} = (XX^T+λI)^{−1}$

，和$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$

，我们可以得到$M_{n+1} - M_n = x_nx_n^T$

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

根据伍德伯里公式，我们有

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

结果是，

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

Polyak平均指示可以使用 到近似中号- 1个$\eta_n = n^{-\alpha}$，α范围从0.5到1。您可以尝试为递归选择最佳的α。$\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$$\alpha$$0.5$$1$$\alpha$

---

我认为如果您应用批处理渐变算法也可以：

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

$\lambda$$\| X \beta -y \|^{2}$$\| \lambda\beta \|^{2}$

也许像随机梯度下降这样的东西在这里可以工作。使用上述方程式在初始数据集上计算，这将是您的初始估计。对于每个新数据点，您都可以执行一步的梯度下降来更新参数估计。$\hat{\beta}$

线性回归，一种可能性是更新的QR分解直接，如所解释这里。我猜想，除非您要在添加每个新数据点后重新估算，否则使用Ridge回归可以完成非常相似的操作。$X$$\lambda$

与使用伍德伯里公式相比，这是一种替代方法（且不太复杂）。注意和可以写为sums。由于我们正在在线计算事物，并且不希望总和爆炸，因此我们可以选择使用平均值（和）。$X^TX$$X^Ty$$X^TX/n$$X^Ty/n$

如果将和编写为：$X$$y$

$$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$$

我们可以将在线更新写为和（计算到第行）为：$X^TX/n$$X^Ty/n$$t$

$$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$$

$$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$$

您对在线估计将变为$\beta$

$$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$$

请注意，这也有助于在添加观察值时对保持不变的解释！$\lambda$

此过程是https://github.com/joshday/OnlineStats.jl如何计算线性/岭回归在线估计的方式。