广义线性模型的参数估计

默认情况下，当我们glm在R中使用函数时，它使用迭代加权最小二乘（IWLS）方法来找到参数的最大似然估计。现在我有两个问题。

1. IWLS估计是否可以保证似然函数的全局最大值？根据本演示文稿的最后一张幻灯片，我认为事实并非如此！我只是想确保这一点。
2. 我们可以说上述问题1的原因是因为几乎所有数值优化方法都可能停留在局部最大值而不是全局最大值吗？

当您尝试估计参数时，总是希望有一个封闭式解决方案。但是，并不总是存在一个（我想在某些情况下可能存在一个，但目前尚不知道）。当不存在封闭形式的解决方案时，必须采用某种启发式策略在参数空间中搜索要使用的最佳参数估计。有许多这样的搜索策略（例如R，？optim中列出了6种通用方法）。IRWLS是Newton-Raphson算法的简化版本。

不幸的是，对[ 1 ] 的答案是，不能保证任何启发式搜索策略都能找到全局最小值（最大值）。出现这种情况的原因有三个：

1. 如链接的演示文稿的幻灯片9所述，可能不存在唯一的解决方案。这样的例子可能是完美的多重共线性，或者当要估计的参数多于数据时。
2. 如幻灯片10所述（我认为演示文稿很好），解决方案可能是无限的。例如，当您完全分离时，这可能会发生在逻辑回归中。

3. 也可能存在有限的全局最小值（最大值），但是算法找不到它。这些算法（尤其是IRWLS和NR）倾向于从指定位置开始，并“环顾四周”以查看沿某个方向的移动是否构成“下坡”（即提高拟合度）。如果是这样，则它将在该方向上以一定距离重新装配并重复，直到猜测/预测的改进小于某个阈值。因此，可以通过两种方法来达到全局最小值：

   1. 从当前位置到全局最小值（最大值）的下降率太浅而无法超过阈值，并且算法在没有解的情况下停止工作。
   2. 当前位置和全局最小值（最大值）之间存在一个局部最小值（最大值），因此在算法中似乎进一步移动会导致较差的拟合度。

关于您的[ 2 ]，请注意，不同的搜索策略在局部极小值中有不同的倾向。有时甚至可以采用相同的策略，也可以从不同的起点开始解决后两个问题。

您是正确的，通常，IWLS与其他数值优化方法一样，即使它们收敛，也只能保证收敛到局部最大值。 这是一个很好的示例，其中R的glm（）使用的算法的起始值在收敛域之外。但是，值得注意的是，对于具有规范链接的GLM，可能性是凹的，请参见此处。因此，如果算法收敛，它将收敛于全局模式！

幻灯片中指出的最后一个问题是参数的MLE处于无穷大的问题。这可以在存在完全分离的逻辑回归中发生。在这种情况下，您将收到一条警告消息，表明拟合的概率在数值上为0或1。重要的是要注意，发生这种情况时，算法尚未收敛到模式，因此与算法无关卡在局部最大值中。