R中MLE的Fisher评分v / s坐标下降


11

R基函数glm()将Fisher评分用于MLE,而glmnet似乎使用坐标下降法来求解相同的方程。坐标下降比费舍尔计分法更省时,因为费舍尔计分法除了计算某些其他矩阵运算外,还计算二阶导数矩阵。这使得执行成本很高,而坐标下降可以在O(np)时间内完成相同的任务。

为什么R基函数使用Fisher评分?与其他优化方法相比,此方法是否有优势?协调血统和费舍尔评分如何比较?我在这个领域比较陌生,因此任何帮助或资源都会有所帮助。

Answers:


1

唯一可以确定的方法是通过基准测试,但是对于glm而言,Fisher评分应比协调下降要快。Fisher评分是Newton Raphson的一个特例,它的收敛速度比坐标下降快(Newton-Raphson是二次收敛的,而坐标下降是线性收敛的。)因此,虽然二阶导数信息的计算意味着每一步都需要更多时间时间,所需的步骤比协调下降所需的步骤少得多。

对于套索而言,惩罚项的特殊形式使其成为一种非常特殊的情况(实际上绝对值是不可微分的,尽管有时您可以做到这一点)。对于这个特殊问题,坐标下降被证明是特别快的。在实践中还有许多其他优化问题,其中牛顿-拉夫森的速度更快。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.