目标函数，成本函数，损失函数：它们是同一件事吗？

在机器学习中，人们谈论目标函数，成本函数，损失函数。它们只是同一事物的不同名称吗？什么时候使用它们？如果他们不总是指同一个事物，有什么区别？

这些不是非常严格的术语，并且具有高度相关性。然而：

• 损失函数通常是在数据点，预测和标签上定义的函数，用于衡量损失。例如：
  • 平方损失，用于线性回归$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • 铰链损耗，在SVM使用$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1损失，用于理论分析和精度定义$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• 成本函数通常更一般。它可能是训练集上的损失函数加上一些模型复杂度损失（正则化）的总和。例如：
  • 均方误差$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • SVM成本函数（存在将与和训练集连接的其他约束）$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• 目标功能是您在训练期间优化的任何功能的最通用术语。例如，以最大似然法生成训练集的概率是定义明确的目标函数，但它既不是损失函数也不是成本函数（但是您可以定义等效的成本函数）。例如：
  • MLE是一种目标函数（您可以将其最大化）
  • 类之间的差异可能是一个目标函数，但它几乎不是成本函数，除非您定义一些人工的东西（例如1-Divergence）并将其命名为成本

长话短说，我会说：

损失函数是成本函数的一部分，成本函数是一种目标函数。

根据吴安德教授（见第11页的幻灯片），

函数h（X）表示您的假设。对于固定的拟合参数theta，它是特征X的函数。我想说这也可以称为目标函数。

成本函数J是拟合参数theta的函数。J = J（θ）。

根据Hastie等人的教科书“统计学习的要素”，第37页：

“我们寻求函数f（X）来预测输入X的给定Y。” 损失函数L（Y，f（X））是“惩罚预测误差的函数”，

因此，“损失函数”似乎比“成本函数”更笼统。如果您在该PDF中寻找“损失”，我认为它们在某种程度上是“成本函数”和“损失函数”的同义词。

的确，p。502

“ [聚类中的情况在某种程度上类似于预测问题（监督学习）中损失或成本函数的规范”。

可能存在这些术语是因为它们在不同的学术社区中独立发展。“目标函数”是运筹学和工程数学中使用的旧术语。统计人员可能会更多地使用“损失功能”。但是我在这里推测。

用吴德胜的话来说：

“最后，损失函数是针对单个训练示例定义的。它衡量您在单个训练示例上的表现。我现在将定义一个称为成本函数的函数，该函数衡量您的表现如何做一个完整的训练集。因此，应用于您的参数W和B的成本函数J将是平均值，其中损失函数之和的m之一将应用于每个训练示例和转弯。”

摘自“深度学习”中的第4.3节-Ian Goodfellow，Yoshua Bengio，Aaron Courville http://www.deeplearningbook.org/

“我们要最小化或最大化的函数称为目标函数或准则。当我们将其最小化时，我们也可以将其称为成本函数，损失函数或误差函数。在本书中，我们可以互换使用这些术语，尽管某些机器学习出版物为其中一些术语赋予了特殊含义。”

在这本书中，至少损失和成本是相同的。

为了给您一个简短的答案，在我看来，它们是同义词。然而，成本函数更多地用于优化问题，而损失函数则用于参数估计。

术语成本和损失函数是同义词，有些人也将其称为错误函数。更一般的情况是首先定义一个目标函数，我们要对其进行优化。这个目标功能可能是

1. 最大化后验概率（例如，朴素贝叶斯）
2. 最大化适应度函数（遗传编程）
3. 最大化总奖励/价值功能（强化学习）
4. 最大化信息增益/最小化子节点杂质（CART决策树分类）5.最小化均方误差成本（或损失）函数（CART，决策树回归，线性回归，自适应线性神经元，…
5. 最大化对数似然率或最小化交叉熵损失（或成本）功能最小化铰链损失（支持向量机）

实际上很简单如果您有m个训练数据，例如（x（1），y（1）），（x（2），y（2）），。。。（x（m），y（m））我们使用损失函数L（ycap，y）查找单个训练集的ycap和y之间的损失如果我们想查找整个训练集的ycap和y之间的损失成本函数。

注意：-ycap表示模型输出，y表示预期输出

注意：-归功于Andrew ng资源：Coursera神经网络和深度学习

损失函数计算单个训练示例的误差，而成本函数是整个训练集的损失函数的平均值。