在最近的一次座谈会上，发言人的摘要声称他们正在使用机器学习。在谈话中，与机器学习有关的唯一事情是他们对数据进行线性回归。在计算5D参数空间中的最佳拟合系数后，他们将一个系统中的这些系数与其他系统中的最佳拟合系数进行了比较。

什么时候是线性回归机器学习，而不是简单地找到一条最佳拟合线？（研究人员的摘要是否引起误解？）

机器学习近来引起了人们的广泛关注，因此做出这样的区分似乎很重要。

我的问题与此类似，只是该问题要求定义“线性回归”，而我的问题是何时将线性回归（具有广泛的应用）适当地称为“机器学习”。

澄清说明

我不是在问线性回归何时与机器学习相同。正如某些人指出的那样，单一算法并不构成研究领域。我问一个人使用的算法只是线性回归时，是在说机器学习是正确的。

撇开所有笑话（见评论），我问这的原因之一是因为不道德地说一个人正在做机器学习，如果他们不是真正在做机器学习，那么就在您的名字上加一些金星。（许多科学家计算某些类型的工作最佳拟合线的，但这并不意味着他们正在做机器学习）。在另一方面，也有清楚的情况下，当线性回归被用作机器学习的一部分。我正在寻找专家来帮助我对这些情况进行分类。;-)

用一个问题回答您的问题：机器学习到底是什么？Trevor Hastie，Robert Tibshirani和Jerome Friedman，《统计学习的元素》，机器学习的概率论观点的 Kevin P. Murphy，模式识别和机器学习的 Christopher Bishop ，深度学习的 Ian Goodfellow，Yoshua Bengio和Aaron Courville，以及其他机器学习“圣经”提到线性回归作为机器学习“算法”之一。机器学习在某种程度上是应用统计的流行语，统计与机器学习之间的区别通常是模糊的。

线性回归绝对是可以在机器学习中使用的算法。但是，荒谬的还原：拥有Excel副本的任何人都可以拟合线性模型。

即使将自己限制为线性模型，在讨论机器学习时，还需要考虑一些其他事项：

• 关于业务问题的机器学习可能涉及更多数据。“ 大数据 ”，如果要使用流行语。清理和准备数据可能要比实际建模花费更多的工作。当数据量超过一台计算机的处理能力时，工程挑战与统计挑战一样重要。（经验法则：如果它适合主存，那不是大数据）。
• 与传统的统计模型相比，机器学习通常涉及更多的解释变量（特征）。也许有几十个，有时甚至数百个，其中一些将是具有多个级别的分类变量。当这些功能可能相互作用时（例如，在交叉效应模型中），要拟合的潜在模型的数量会迅速增长。
• 机器学习从业人员通常较少关注单个特征的重要性，而更关注从模型中榨取尽可能多的预测能力，无论使用哪种特征组合都可以。（P值与解释相关，而不与预测相关。）
• 由于具有大量功能，以及采用各种方法设计这些功能，因此手动选择模型变得不可行。我认为，机器学习中的真正挑战是特征（特征工程）的自动选择以及模型规范的其他方面。对于线性模型，可以通过多种方式执行此操作，通常是蛮力的变体。包括逐步回归，反向消除等，所有这些都再次需要大量的计算能力。（第二个经验法则：如果您手动选择功能，则是在进行统计，而不是机器学习）。
• 当您自动将具有多个功能的多个模型拟合时，过度拟合是一个严重的潜在问题。处理此问题通常涉及某种形式的交叉验证：即，还要进行更多的蛮力计算！

从我的观点来看，简短的答案是机器学习与传统的统计建模有所不同的地方在于蛮力和数值方法在模型选择中的应用，特别是在数据量大且解释变量众多的领域中，着重于预测能力，其次是更强力的模型验证。

我认为Mitchell的定义提供了一种有益的方式，使机器学习的讨论成为基础，这是一种首要原则。如转载于维基百科：

据说计算机程序可以从经验E中学习有关某类任务T和性能度量P的信息，如果计算机对T中任务的性能（由P衡量）随经验E的提高而有所提高。

这在某些方面很有帮助。首先，您的直接问题是：回归是机器学习，它的任务是从某些应用程序的预测功能提供估计值。当它遇到更多数据时，它的性能应提高（以均方（或绝对等）得出的误差来衡量）。

其次，它有助于从相关术语中描述机器学习，并将其用作营销流行语。将上述任务与标准推论回归进行对比，其中分析人员解释重要关系的系数。在这里，该程序返回一个摘要：系数，p值等。任务是精心计算。

最后，它有助于统一机器学习子领域，这两个领域都是入门性介绍中（监督，无监督）与增强学习或密度估计等其他领域的统一。（如果您对它们有足够的思考，则每个人都有一个任务，绩效指标和经验概念。）我认为，它提供了更丰富的定义，有助于界定这两个领域，而不必不必要地减少两者。例如，“ ML用于预测，统计用于推理”既忽略了监督学习之外的机器学习技术，也忽略了专注于预测的统计技术。

没有法律说橱柜制造商不能使用木桶制造商的锯。

机器学习和统计是模糊的标签，但是如果定义得当，统计和机器学习之间会有很多重叠。这也适用于这两个领域，以及（和单独）的方法的人谁与这两个领域标榜自己。但是就数学而言，机器学习完全在统计领域内。

线性回归是定义非常明确的数学程序。我倾向于将其与统计领域，自称“统计学家”的人以及那些出类拔萃的带有“统计学”标签的人联系起来。SVM（支持向量机）同样是定义非常明确的数学过程，具有一些相似的输入和输出并解决相似的问题。但是，我倾向于将其与机器学习领域以及自称计算机科学家的人们或从事人工智能或机器学习的人们联系起来，这些人通常被视为计算机科学的一门学科。

但是，某些统计学家可能会使用SVM，而某些AI人士会使用逻辑回归。需要明确的是，统计学家或AI研究人员更可能会开发一种方法，而不是实际使用该方法。

我将所有机器学习方法都放在统计领域内。甚至像深度学习，RNN，CNN，LSTM，CRF这样的最新事物。应用统计学家（生物统计学家，农艺师）可能对他们不熟悉。这些都是通常用“机器学习”标记的预测建模方法，很少与统计信息相关联。但是它们是预测模型，允许使用统计方法对其进行判断。

最后，逻辑回归必须被视为机器学习的一部分。

但是，是的，我看到并经常分享您对这些词的错误使用的厌恶。线性回归是所谓的统计数据的基本组成部分，以至于称其为“机器学习”是非常奇怪和误导的。

为了说明这一点，逻辑回归在数学上与没有隐藏节点的深度学习网络相同，并且逻辑函数作为单个输出节点的激活函数。我不会将逻辑回归称为机器学习方法，但是肯定会在机器学习环境中使用它。

这主要是期望的问题。

答：“我使用机器学习来预测心脏手术后再入院。”

B：“哦，是吗？深度学习？随机森林？！？”

答：“哦，不，没有别的了，只是Logistic回归。”

B：看起来非常失望。

就像说，用水清洗窗户时，您正在使用量子化学。是的，可以肯定的是，这在技术上并没有错，但是您所隐含的含义远远超出了所需。

但实际上，这恰恰是文化差异与实质差异。一个单词的含义和与一群人的关联（LR完全不是ML！）与数学和应用程序（LR完全是ML！）相比。

普遍的看法是机器学习由四个方面组成：

1）降维

2）聚类

3）分类

4）回归

线性回归是一种回归。一旦训练了模型，就可以像其他任何随机森林回归一样将其用于预测。

线性回归是一种技术，而机器学习是可以通过不同方式和技术实现的目标。

因此，回归性能是通过它与预期的线/曲线的拟合程度来衡量的，而机器学习是通过它能够以某种必要的手段解决某个问题的程度来衡量的。

我认为机器学习和统计推断之间的区别很明显。简而言之，机器学习=对未来观察的预测；统计=说明。

这是我感兴趣的领域（医学）中的一个示例：开发一种药物时，我们会寻找最能解释疾病状态的基因，并以该药物为目标。我们为此使用统计数据。相反，在开发诊断测试时，例如预测药物是否对患者有帮助，目标是严格找到未来结果的最佳预测因子，即使该药物包含许多基因并且过于复杂也难以理解。为此，我们使用机器学习。有多个已发表的实例[1]，[2]，[3]，[4]显示，药物靶标的存在不是治疗结果的良好预测指标，因此有区别。

基于此，可以公平地说，当目标是严格预测未来/以前未曾观察到的结果时，人们正在进行机器学习。如果目标是了解特定现象，那么这就是统计推断，而不是机器学习。正如其他人指出的那样，这与所涉及的方法无关。

要回答您的问题：在您描述的具体研究中，科学家们正在比较不同线性回归模型中的因素角色（权重），而不是比较模型的准确性。因此，称其为推理机学习是不准确的。

[1]西澳Messersmith，安嫩DJ。在大肠癌中靶向EGFR。《新英格兰医学杂志》；2008年；359; 17。

[2] Pogue-Geile KL等。在NSABP试验B-31中预测曲妥珠单抗辅助治疗的获益程度。J Natl癌症研究所；2013; 105：1782-1788。

[3] Vemurafenib的Pazdur R. FDA批准。 https://www.cancer.gov/about-cancer/ treatment / drugs / fda-vemurafenib。2013年7月3日更新。

[4] Ray T.两项ASCO研究表明在NSCLC药物试验中使用MET信号作为预测标记具有挑战性。GenomeWeb，2014年6月11日。

调用线性回归机器学习可能很有用，因为这样做通常意味着有关如何解决问题的一些重要事项：

1. 您认为没有必要检查解释变量后面的因果假设和先验理论。它表明您的模型不是要解释而是要进行预测。这在许多设置中都是完全合理的，例如，根据关键字预测垃圾邮件。实际上，没有很多文献可以用这些词来预测垃圾邮件，而且有太多的词使您无法从每个词的理论意义上进行思考。
2. 您没有检查变量的显着性或使用p值，而是可能选择了保留集或交叉验证来评估样本外预测性能。如果返回到垃圾邮件示例，这真的是完全有效的，即使您真正关心的只是创建一个可以有效预测垃圾邮件的模型，即使这样做的代价是包括可能无法通过传统重要性检验的变量。

但是，如果您的模型更倾向于解释而不是预测，并且确实检查了模型的理论因果假设，等等，那么是的，将其称为机器学习是很愚蠢的。

诚然，对这个问题的任何回答都比客观事实更多的是见解，但我将尽我的逻辑来阐明为什么我认为答案永远不会。任何所谓的机器学习专家或讲师都只能通过表示线性回归来揭示他们的无知。

学术学科的划分更多地是关于社区的划分，而不是方法。科学学科一直在跨学科借鉴方法。同样，在19世纪（发展线性回归时）之前，科学学科没有像今天这样清晰地被划定。因此，特别是当方法是在19世纪或更早的时候开发时，我们应该谨慎地将其分配给特定学科。

话虽如此，人们可以查看一门学科的历史，并合理地得出结论，特定的方法“属于”一个或另一门学科。今天，没有人会说微积分属于物理学领域，尽管作为微积分发明者之一的牛顿绝对想将其应用于物理学。微积分显然属于数学学科，而不是物理学科。这是因为微积分是一种通用的数学方法，可以在物理环境之外完全使用。

出于同样的原因，线性回归属于统计学科，尽管它通常被用作在机器学习环境中将数据拟合至模型的简单示例。就像微积分可以在物理环境之外使用一样，线性回归可以（并且已经）在机器学习环境之外使用。

机器学习指导老师应该明智地指出，线性回归自19世纪末开始使用，很早就出现了现代机器学习概念。他们还应强调，机器学习利用了概率和统计学以及其他学科（例如信息论）中的许多概念。但是，这些概念本身并不代表机器学习或机器学习的“算法”。

这是机器，愚蠢！

我既不是统计学家，也不是Big Data（TM）专家。但是，我要说的本质区别是“机器学习”需要“一台机器”。特别是，它意味着代理。结果将不会被人类随意消耗。相反，结果将是一个封闭周期的输入，由此自动化系统可以提高其性能。

封闭系统

这与Sean Easter的回答非常吻合，但是我只想强调一下，在商业应用中，一台机器正在查看结果并对其执行操作。一个经典的例子是CineMatch算法，它是Netflix奖的目标。人们可以查看CineMatch的输出并了解有关电影观众的有趣功能。但这不是为什么它存在。CineMatch的目的是提供一种机制，通过该机制，Netflix 服务器可以向客户推荐他们喜欢的电影。统计模型的输出进入推荐服务，该服务最终会随着客户对电影的评分而产生更多输入，其中一些是根据CineMatch的建议选择的。

开放系统

另一方面，如果研究人员使用一种算法来生成统计结果，并在演示文稿中显示给其他人，则该研究人员绝对不会参与机器学习。对我来说，这显然是人类的学习。该分析是由机器进行的，但它不是在做一个机器学习本身。现在，这是“机器学习”，以至于人脑没有经历所有样本输入，而是“生物学地”得出了统计结果。但是我将其称为“统计”，因为这是自从该领域发明以来统计学家一直在做的事情。

结论

因此，我将通过问：“谁消耗结果？”来回答这个问题。如果答案是：“人类”，那就是“统计数据”。如果答案是：“软件”，那就是“机器学习”。当我们说“软件消耗结果”时，我们并不是说它将其存储在某个地方以供以后检索。我们的意思是，它执行的行为取决于闭环中的结果。

在我看来，当对机器进行编程以使用某些数据来推断某些模型的参数时，可以说是机器学习。

如果线性回归是由机器完成的，则它是合格的。

如果通过手工完成，则不会。

在我看来，取决于某些代理（例如Excel）的流行性或迭代改进（如上面的Sean Easter建议）的定义，以某种方式尝试将其与统计分开或取决于对结果的处理方式，将导致不一致。