默认的lme4优化器需要对高维数据进行大量迭代

TL; DR：lme4优化似乎是线性在默认情况下，模型参数数量，并且是这样慢比等效的glm与组虚拟变量模型。我有什么可以加快速度的吗？

我正在尝试适应一个相当大的分层logit模型（约5万行，100列，50组）。将正常的logit模型拟合到数据（带有用于组的虚拟变量）可以很好地工作，但是层次模型似乎被卡住了：第一个优化阶段可以很好地完成，但是第二个阶段需要进行很多迭代，而无需进行任何更改并且不停止。

编辑：我怀疑问题主要是我有这么多的参数，因为当我尝试将其设置maxfn为较低的值时会给出警告：

Warning message:
In commonArgs(par, fn, control, environment()) :
  maxfun < 10 * length(par)^2 is not recommended.

但是，参数估计在优化过程中完全没有改变，因此我仍然对执行该操作感到困惑。当我尝试设置maxfn优化器控件（尽管有警告）时，它似乎在完成优化后挂起。

这是一些重现随机数据问题的代码：

library(lme4)

set.seed(1)

SIZE <- 50000
NGRP <- 50
NCOL <- 100

test.case <- data.frame(i=1:SIZE)
test.case[["grouping"]] <- sample(NGRP, size=SIZE, replace=TRUE, prob=1/(1:NGRP))
test.case[["y"]] <- sample(c(0, 1), size=SIZE, replace=TRUE, prob=c(0.05, 0.95))

test.formula = y ~ (1 | grouping)

for (i in 1:NCOL) {
    colname <- paste("col", i, sep="")
    test.case[[colname]] <- runif(SIZE)
    test.formula <- update.formula(test.formula, as.formula(paste(". ~ . +", colname)))
}

print(test.formula)

test.model <- glmer(test.formula, data=test.case, family='binomial', verbose=TRUE)

输出：

start par. =  1 fn =  19900.78 
At return
eval:  15 fn:      19769.402 par:  0.00000
(NM) 20: f = 19769.4 at           0     <other numbers>
(NM) 40: f = 19769.4 at           0     <other numbers>

我尝试将其设置ncol为其他值，但似乎完成的迭代次数是每列40次（大约）。显然，随着我添加更多列，这变得非常痛苦。我是否可以对优化算法进行调整，以减少对列数的依赖？

您可以尝试的一件事是更改优化器。请参阅此github问题上的 Ben Bolker的评论。Bobyqa的nlopt实现通常比默认实现快得多（至少在我尝试的时候）。

library(nloptr)
defaultControl <- list(algorithm="NLOPT_LN_BOBYQA",xtol_rel=1e-6,maxeval=1e5)
nloptwrap2 <- function(fn,par,lower,upper,control=list(),...) {
    for (n in names(defaultControl)) 
      if (is.null(control[[n]])) control[[n]] <- defaultControl[[n]]
    res <- nloptr(x0=par,eval_f=fn,lb=lower,ub=upper,opts=control,...)
    with(res,list(par=solution,
                  fval=objective,
                  feval=iterations,
                  conv=if (status>0) 0 else status,
                  message=message))
}

system.time(test.model <- glmer(test.formula, data=test.case, 
family='binomial', verbose=TRUE))

system.time(test.model2 <- update(test.model,
control=glmerControl(optimizer="nloptwrap2"))

另外，请参阅此答案以获取更多选项以及R-sig-mixed-models中的该线程（看起来与您的问题更相关）。

编辑： 我给了您一些有关的过时信息nloptr。在lme4 1.1-7和时，nloptr会自动导入（见?nloptwrap）。您要做的就是添加

control = [g]lmerControl(optimizer = "nloptwrap") # +g if fitting with glmer

给你打电话。