损失函数和误差函数有什么区别？

术语“损失”是否与“错误”同义？定义上有区别吗？

另外，“损失”一词的由来是什么？

注意：此处提到的错误功能不要与正常错误相混淆。

在预测或推论模型的上下文中，术语“错误”通常是指与实际值的偏离，与对该值的预测或期望。它完全取决于预测机制和所观察量的实际行为。“损失”是获得特定大小/方向的错误有多糟糕的量化度量，该错误受不准确的预测所产生的负面影响所影响。

误差函数测量可观测值与预测的偏差，而损失函数对误差进行操作以量化误差的负面结果。例如，在某些情况下，可以合理地假设存在平方误差损失，其中误差的负面结果被量化为与误差的平方成比例。在其他情况下，我们可能会受到特定方向错误的负面影响（例如，误报与误报），因此我们可能采用非对称损失函数。

误差函数是一个纯粹的统计对象，而损失函数是一个决策理论对象，我们将其引入以量化误差的负面影响。后者用在决策理论和经济学中（通常是通过相反的方式使用-基本效用函数）。

---

例如：您是一名犯罪分子的球拍手，负责为暴民经营非法的博彩厅。每周您必须向暴民老板支付50％的利润，但是自从您经营这个地方以来，老板就依靠您对利润进行真实核算。如果您度过了愉快的一周，您可能可以通过低估自己的利润来使他摆脱困境，但是如果您少付老板的钱，相对于他怀疑是真正的利润，那您就是个死人。因此，您想预测他期望得到多少，并相应地付款。理想情况下，您将给他确切的期望，并保留其余的，但是您可能会犯下预测错误，并付给他太多或（太少了）。

您度过了愉快的一周，赚了的利润，因此欠老板的款项。他不知道您度过了愉快的一周，因此他对自己份额的真实期望仅为（您不知道）。您决定付给他。那么您的错误函数是：$\pi = \$40,000$θ=$15，000$\tfrac{1}{2} \pi = \$20,000$$\theta = \$15,000$$\hat{\theta}$

$$\text{Error}(\hat{\theta}, \theta) = \hat{\theta} - \theta ,$$

并且（如果我们假设损失与金钱成线性关系），则损失函数为：

$$\text{Loss}(\hat{\theta}, \theta) = \begin{cases} \infty & & \text{if } \hat{\theta} < \theta \quad \text{(sleep wit' da fishes)} \\[6pt] \hat{\theta} - \pi & & \text{if } \hat{\theta} \geqslant \theta \quad \text{(live to spend another week)} \\ \end{cases}$$

这是不对称损失函数（在下面的评论中讨论的解决方案）的一个示例，该函数与误差函数有很大的不同。在这种情况下，损失函数的不对称性质会在未知参数被低估的情况下加剧灾难性后果。