损失函数和决策函数有什么区别？

我看到这两个功能都是诸如Gradient Boosting Regressors之类的数据挖掘方法的一部分。我看到这些也是单独的对象。

两者之间的关系一般如何？

甲决策功能是一个函数，它接受的数据集作为输入，并给出了一个决定作为输出。可以做出什么样的决定取决于当前的问题。示例包括：

• 估计问题： “决定”是估计。
• 假设检验问题：决定是拒绝还是不拒绝原假设。
• 分类问题：决定是将一个或多个新观察值分类。
• 模型选择问题：决定是选择候选模型之一。

$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• $d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• $d(\mathbf{x})=1$$\mathbf{x}$

然后，我们如何确定要使用这些决策功能中的哪个？一种方法是使用损失函数，该函数描述与所有可能的决策相关的损失（或成本）。不同的决策功能将倾向于导致不同类型的错误。损失函数告诉我们应该更关注哪种类型的错误。最佳决策函数是产生最低预期损失的函数。预期损失的含义取决于设置（特别是，我们是在谈论常客还是贝叶斯统计）。

综上所述：

• 决策功能用于根据数据进行决策。
• 损失函数用于确定使用哪个决策函数。

损失函数是最小化以获得在某种意义上最佳的模型的函数。该模型本身具有用于预测的决策函数。

例如，在SVM分类器中：

• 损失函数：最小化分离超平面误差和平方范数$\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$