随机森林和增强算法是参数化还是非参数化？

通过阅读出色的统计模型：这两种文化（Breiman 2001），我们可以抓住传统统计模型（例如线性回归）和机器学习算法（例如Bagging，Random Forest，Boosted tree ...）之间的所有差异。

布雷曼批评数据模型（参数化），因为它们基于这样的假设：观测值是由统计学家规定的已知的正式模型生成的，该模型可能无法很好地模仿自然。另一方面，机器学习算法不采用任何形式化的模型，而是直接从数据中学习输入变量和输出变量之间的关联。

我意识到Bagging / RF和Boosting也是某种参数：例如，ntree，RF中的mtry，学习率，包率，随机梯度Boosted树中的树复杂性都是调整参数。由于我们正在使用数据来查找这些参数的最佳值，因此我们还需要根据数据估算这些参数。

那有什么区别呢？RF和Boosted Trees参数模型吗？

参数模型具有参数（推断它们）或关于数据分布的假设，而RF，神经网络或增强树具有与算法本身相关的参数，但是它们不需要关于数据分布的假设或将数据分类为理论分布。实际上，几乎所有算法都具有与优化相关的参数，例如迭代或余量值。

我认为参数化和非参数化的标准是：参数的数量是否随训练样本的数量而增长。对于逻辑回归和svm，选择功能部件时，通过添加更多训练数据将不会获得更多参数。但是对于RF等等，即使树的数量不变，模型的细节也会改变（例如树的深度）。

从统计意义上讲，如果根据数据学习或推断参数，则该模型是参数化的。从这个意义上讲，树是非参数的。当然，树的深度是算法的一个参数，但是它并不是从数据中固有地得出的，而是用户必须提供的输入参数。