“学习模型”一词从何而来

我经常听到这里的数据挖掘者使用这个术语。作为从事分类问题的统计学家，我熟悉术语“训练分类器”，并且我认为“学习模型”的意思是相同的。我不介意“训练分类器”。这似乎描绘了拟合模型的想法，因为训练数据用于获得模型参数的良好或“改进的”估计。但是，学习会获得知识。用简单的英语来说，“学习模型”就是要知道它是什么。但是实际上，我们从不“知道”模型。模型近似于现实，但没有模型是正确的。就像Box所说的：“没有正确的模型，但有些有用。”

我想听听数据挖掘者的回应。该术语是如何产生的？如果使用它，为什么喜欢它？

我怀疑它的起源是在人工神经网络研究社区中，在该社区中，神经网络可以被认为是通过修改突触权重来学习数据模型的，其方式类似于在我们自己学习时在人脑中发生的方式经验。我的研究生涯始于人工神经网络，因此有时会使用该短语。

如果您认为模型是在模型的参数中而不是方程式中编码的，则可能更有意义，就像心理模型不能像一组参数那样是可识别的大脑物理组成部分一样一些神经元的设置。

注意，这并不意味着心理模型也一定是正确的！

这个术语在人工智能方面很老。图灵在其1950年发表于Mind的《计算机械与情报》一文中专门论述了“学习机器” ，并定性地勾勒出监督学习的方式。Rosenblatt的原始论文：感知器：大脑中信息存储和组织的概率模型自1958年以来发表，论文广泛讨论了“学习的数学模型”。这里的感知器是“学习的模型”。模型不是“学习”的。

Pitts and McCullough 1943年发表的论文-最初的“神经网络”论文-并不真正关注学习，更多地是如何构造逻辑演算（例如Hilbert或Gentzen系统，但我认为它们是指Russell / Whitehead）。可以进行推断。我认为正是“感知器”论文引入了数字，而不是这种传统的象征性学习概念。

机器是否可能仅通过示例来学习如何下棋？是。它有下棋的模型吗？是。它是最佳模型（假设有一个模型）吗？几乎可以肯定。用简单的英语，我可以“学象棋”，如果我可以下象棋的话-也许还不错。这并不意味着我是最佳的棋手。这就是图灵在论文中讨论学习国际象棋时描述“学习”的意义。

我与我使用的术语非常不一致。因此（例如）对于极限学习，我说“识别”，对于SVM学习，我说“训练”，但对于MCMC，“学习”，我说“优化”。例如，我只称回归为“回归”。

作为生物仿生机器学习的研究人员，我坚信“没有模型是正确的，但有些模型是有用的”，事实上，模型和形式主义在作者讨论问题的最佳方式时都失败了，他们正在做什么。正在优化模型，即探索其参数空间并找到局部或希望的全局最优值。对于实际问题，这通常不是最佳选择。虽然模型的创建者通常使用正确的术语并公开所有假设，但是大多数用户会掩盖这些假设（通常不知道这些假设），并且使用不太精确的语言来表示“学习”，“优化”和“参数化”。

我认为模型的这种最佳参数化是人们在机器学习中，特别是在有监督的机器学习中的含义，尽管我不能说我已经听到很多“学习模型”的信息，但是它确实发生了，而人训练模型，计算机学习模型的参数。即使在无监督学习中，“学习”通常也只是模型的参数化，并且希望“学习模型”因此也是模型的最佳参数化（尽管通常可以用不同的搜索参数空间的方式找到不同的解决方案，即使它们可以被证明）以优化同一件事）。我确实宁愿使用“训练模型”

实际上，我的大部分研究都是通过发现更好的模型，或者在计算和认知/生物学/生态上更合理的模型方面来学习模型。