如何设计和实现不对称损失函数进行回归？

问题

在回归中，通常会计算出样本的均方误差（MSE）：来衡量预测变量的质量。

MSE = \frac{1}{n} \sum_{i = 1}^{n} {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2$

现在，我正在研究一个回归问题，该问题的目的是在给定许多数字特征的情况下，预测客户愿意为产品支付的价格。如果预测价格过高，则没有客户会购买该产品，但是金钱损失很低，因为价格可以简单地降低。当然不应太高，否则可能会导致长时间不购买该产品。另一方面，如果预测价格过低，则将很快购买产品，而没有机会调整价格。

换句话说，学习算法应该预测稍高的价格，如有必要，可以将其降低，而不是低估会导致立即金钱损失的真实价格。

题

您如何设计一个包含这种成本不对称性的误差度量？

可能的解决方案

定义非对称损失函数的一种方法是简单地乘以权重：其中是我们可以调整的参数，以更改不对称程度。我在这里找到了。在保持二次损失的同时，这似乎是最直接的事情。

\frac{1}{n} \sum_{i = 1}^{n} | α - 1_{(g (x_{i}) - \hat{g} (x_{i})) < 0} | \cdot {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2$

α \in (0, 1)

$\alpha \in (0,1)$

regression error loss-functions

— 凯迪
source

@ MichaelChernick，FTR，我认为这是一个很好的问题，已经清楚且连贯地陈述了这一点，并承认我有点挑剔。我要了解的是（默认情况下）通过最小化OLS损失函数 SSE来拟合回归（即，求解）。没错，MSE 可以等效地用b / c除以一个常数，不会影响候选beta的顺序。

β

$\boldsymbol{\beta}$

— gung-恢复莫妮卡

另一个事实是，经常使用MSE（更常见的是RMSE）来评估拟合模型的质量（尽管同样，可以等效地使用SSE）。问题是（无论如何对我来说），这个问题似乎是关于如何考虑/重新设计损失函数，以使拟合的beta与默认情况下不同，而不是关于如何对质量进行不同的思考已经适合的模型。

— gung-恢复莫妮卡

@Kiudee，如果我对您的Q的解释正确，那么您将如何编辑它以添加损失函数标签，并可能将标题修改为：“如何设计和实现回归的非对称损失函数”呢？如果您不同意，我不会自己进行编辑。

— gung-恢复莫妮卡

作为参考，当您需要非对称损失函数时，我已经看到建议进行分位数回归，请参见Berk，2011，PDF here。

— Andy W

由于我正在使用各种学习算法来解决此问题，因此该功能至少应具有一次微分。

— Kiudee 2012年

如以上评论所述，分位数回归使用不对称损失函数（线性但正负误差具有不同的斜率）。分位数回归的二次（平方损失）类似物是预期回归。

您可以谷歌分位数回归参考。有关预期回归，请参见R包Expectreg和参考手册中的参考。

— 因诺
source

这种不平等的加权通常在两个类别的分类问题中完成。可以使用损失函数来修改贝叶斯规则，该函数对一个错误的权重高于对另一个错误的权重。这将导致产生不相等错误率的规则。

在回归中，肯定有可能构造一个加权函数，例如加权平方和，它将对负误差赋予一些权重，而对正误差赋予更高的权重。这将与加权最小二乘相似，但略有不同，因为加权最小二乘用于在预测变量的可能值范围内误差方差不是恒定的问题。在那种情况下，对于已知误差方差较小的点，权重较高；而对于已知误差方差较大的点，权重较高。当然，这将导致回归参数的值不同于OLS会给您的值。

— 迈克尔·R·切尼克
source