8 为什么牛顿方法没有在机器学习中广泛使用？ 这是困扰我一段时间的事情，而且我在网上找不到任何令人满意的答案，所以这里是： 在复习了一组关于凸优化的讲座之后，牛顿的方法似乎比梯度下降算法更优越，可以找到全局最优解，因为牛顿的方法可以为其求解提供保证，它的仿射不变性，并且大多数收敛于步骤少得多。为什么在机器学习问题中二阶优化算法（例如牛顿法）不如随机梯度下降法那么广泛使用？ 131 machine-learning optimization gradient-descent hessian
6 为什么不使用三阶导数进行数值优化？ 如果Hessians如此擅长优化（例如参见Newton方法），为什么要停在那里？我们使用三阶，四阶，五阶和六阶导数吗？为什么不？ 29 optimization gradient-descent hessian
1 xgboost算法中min_child_weight的说明 xgboost中min_child_weight参数的定义为： 子级中实例重量的最小总和（hessian）。如果树分区步骤导致叶节点的实例权重之和小于min_child_weight，则构建过程将放弃进一步的分区。在线性回归模式下，这仅对应于每个节点中需要的最少实例数。越大，算法将越保守。 我已经在xgboost上阅读了很多东西，包括原始论文（请参见公式8和等式9后面的文章），该问题以及与xgboost有关的大多数事情，这些事都出现在Google搜索的前几页中。;） 基本上我还是不满意我们为什么要限制粗麻布的总和？从原始论文开始，我唯一的想法是，它与加权分位数草图部分（以及公式3的平方化加权平方损失的重新制定）有关，其中H一世hih_i是每个实例的“权重”。 另一个问题涉及为什么线性回归模式中的实例数仅仅是个数？我想这与平方和方程的二阶导数有关吗？ 23 machine-learning xgboost hessian