在给定自由度和输入矩阵的情况下，如何在岭回归中计算正则化参数？

设A 为自变量的$n \times p$矩阵，而B为因变量的相应n ×矩阵。在岭回归，我们定义一个参数使得：。现在让[usv] = svd（A）和对角线输入s。我们定义自由度（df）=。岭回归缩小了低方差分量的系数，因此参数控制自由度。因此对于$n \times 1$$\lambda$$\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$，这是正态回归df = n的情况，因此将考虑所有自变量。我面临的问题是找到给定'df'和矩阵's' 的值。我试图重新排列上面的方程式，但没有得到封闭形式的解决方案。请提供任何有用的指示。$\lambda$

牛顿-拉夫森/费舍尔评分/泰勒级数算法将适合于此。

你有公式计算ħ （λ ）= p Σ我= 1 d 2 $\lambda$ 与衍生物 ∂

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ 您然后得到： H ^（λ）≈ħ（λ（0））+（λ-λ（0））∂ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

重新安排你： λ = λ （0 ） - [ ∂ $\lambda$ 设置迭代搜索。对于初始起始值，假设总和为d 2 i =1，则得到λ（0）=p−d

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$。$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

$\lambda$$\lambda$

这是基于概率概率论证明的公式的小型Matlab代码：

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end