迭代加权最小二乘的定义和收敛性
我一直在使用迭代加权最小二乘（IRLS）来最小化以下形式的函数， J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) 其中NNN是实例数xi∈Rxi∈Rx_i \in \mathbb{R}，m∈Rm∈Rm \in \mathbb{R}是鲁棒估计，我想，并且ρρ\rho是一个合适的健壮罚函数。假设它是凸的（尽管不一定严格）并且目前是可区分的。这种一个很好的例子ρρ\rho是Huber损失函数。 我一直在做的是区分J(m)J(m)J(m)相对于mmm（和操作）来获得， dJdm=∑Ni=1ρ′(|xi−m|)|xi−m|(xi−m)dJdm=∑i=1Nρ′(|xi−m|)|xi−m|(xi−m)\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right) 并通过将其设置为0并将迭代权重固定kkk为w i（k ）= ρ ' （| x i − m （k ）|）来迭代求解wi(k)=ρ′(|xi−m(k)|)|xi−m(k)|wi(k)=ρ′(|xi−m(k)|)|xi−m(k)|w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}（请注意，在处感知到的奇点xi=m(k)xi=m(k)x_i=m{(k)}实际上是我可能关心的所有的可移动奇点ρρ\rho）。然后我得到 ∑Ni=1wi(k)(xi−m(k+1))=0∑i=1Nwi(k)(xi−m(k+1))=0\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0 我求解得到m(k+1)=∑Ni=1wi(k)xi∑Ni=1wi(k)m(k+1)=∑i=1Nwi(k)xi∑i=1Nwi(k)m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ …