学习和推理之间有什么区别？

机器学习研究论文经常将学习和推理视为两个独立的任务，但是我不清楚这是什么区别。例如，在本书中，他们将贝叶斯统计用于这两种任务，但没有提供这种区分的动机。我有几个模糊的想法，可能是什么，但我希望看到一个明确的定义，也许还要反驳或扩展我的想法：

• 推断某个数据点的潜在变量的值与学习该数据的合适模型之间的区别。
• 提取方差（推断）与学习方差之间的差异，以便能够提取方差（通过学习输入空间/过程/世界的动态）。
• 神经科学的类比可能是短期增强/抑制（记忆痕迹）与长期增强/抑制。

我同意Neil G的回答，但这种替代措辞也许也有帮助：

考虑一个简单的高斯混合模型的设置。在这里，我们可以将模型参数视为混合模型的一组高斯分量（它们的均值和方差，以及每个人在混合中的权重）。

给定一组模型参数，推论是确定哪个组件可能已生成单个给定示例的问题，通常以每个组件的“责任”形式出现。在这里，潜在变量只是组件为其生成给定向量的单个标识符，并且我们正在推断可能是哪个组件。（在这种情况下，推论很简单，尽管在更复杂的模型中推论变得非常复杂。）

学习是在给定模型样本的情况下，确定最适合给定数据的模型参数（或模型参数的分布）的过程：选择高斯的均值，方差和权重。

可以将Expectation-Maximization学习算法视为对训练集进行推理，然后根据该推理学习最佳参数，然后重复进行。推理通常以这种方式在学习过程中使用，但它也具有独立的意义，例如，选择哪个组件在高斯混合模型中生成给定的数据点，以决定隐马尔可夫模型中最可能的隐状态，在更通用的图形模型中估算缺失值...

推理是基于单个输入选择配置。学习是根据一些训练示例来选择参数。

在基于能量的模型框架（一种查看几乎所有机器学习架构的方式）中，推理选择一种配置，以在保持参数固定的同时最小化能量函数。学习选择参数以最小化损失函数。

正如共轭共和党指出的那样，其他人对同一事物使用不同的术语。例如Bishop，使用“推论”和“决定”分别表示学习和推论。 因果推理意味着学习。但是，无论您决定使用哪个术语，这两个概念都是不同的。

神经类比是激发神经元的一种模式，是一种构型；一组链接强度是参数。

这看起来像是经典的跨学科术语混淆。OP似乎正在使用类似神经科学的术语，其中所讨论的两个术语可能具有不同的含义。但是，由于“交叉验证”通常处理统计数据和行进学习，因此我将尝试根据这些术语在这些领域的常见用法来回答问题。

在经典统计中，推断只是将您对样本了解的知识并对其（希望地）代表总体进行数学说明的行为。摘自Casella＆Berger（2002）的经典教科书：“概率论的主题是建立所有统计数据的基础...通过这些模型，统计学家能够得出有关总体的推论，而推论仅基于检验整体的一部分”。因此，在统计数据中，推断与p值，检验统计数据和采样分布等具体相关。

至于学习，我认为Wasserman的《 All Statistics》（2003年）中的这张表可能会有所帮助：

奇怪的是没有人提到这一点，但是只有在概率分布的情况下，您才能进行推断。这里引用维基，引用牛津词典：

统计推断是使用数据分析来推断潜在概率分布的属性的过程（牛津统计词典）

https://zh.wikipedia.org/wiki/Statistical_inference

在传统的神经网络，k-NN或香草SVM的情况下，您没有要估计的概率密度，也没有任何密度的假设，因此，那里没有统计推断。仅培训/学习。但是，对于大多数（所有？）统计程序，您可以同时使用推理和学习，因为这些程序对所讨论的人口分布具有一些假设。