百分损失函数

11

解决问题的方法：

min_{m} E [| m - X |]

$\min_{m} \; E[|m-X|]$

众所周知，它是的中值 $X$ ，但是其他百分位数的损失函数看起来如何？例如：X的第25个百分位数是解决以下问题的方法：

min_{m} E [L (m, X)]

$\min_{m} \; E[ L(m,X) ]$

什么是 $L$ 在这种情况下？

expected-value loss-functions

— 戴维森·皮隆
source

12

让 $I$ 成为指标函数：对于真实参数，它等于 $1$ ；否则，等于 $0$ 。选择 $0\lt\alpha\lt 1$ 并设置

Λ_{α} (x) = α x I (x \geq 0) - (1 - α) x I (x < 0) .

$\Lambda_\alpha(x)=\alpha x\, I(x\ge 0) - (1-\alpha)x\, I(x\lt 0).$

该图绘制 $\Lambda_{1/5}$ 。它使用一个准确的纵横比，以有助于评估的斜坡，它等于 $-4/5$ 左侧和 $+1/5$ 在右边。在这种情况下，相比于低于游览，高于游览的 $0$ 权重大大降低。 $0$

尝试使用此函数很自然，因为它对值大于权重与小于权重不同。让我们计算相关的损失，然后对其进行优化。 $x$ $0$ $x$ $0$

为的分布函数编写并设置，计算 $F$ $X$ $L_\alpha(m,x) = \Lambda_\alpha(x-m)$

\begin{aligned} E_{F} (L_{α} (m, X)) & = \int_{R} Λ_{α} (x - m) d F (x) \\ = α \int_{R} I (x \geq m) (x - m) d F (x) - (1 - α) \int_{R} (x - m) I (x < m) d F (x) \\ = α \int_{m}^{\infty} (x - m) d F (x) - (1 - α) \int_{- \infty}^{m} (x - m) d F (x) . \end{aligned}

$\eqalign{ \mathbb{E}_F(L_\alpha(m,X))&=\int_\mathbb{R} \Lambda_\alpha(x-m)dF(x)\\ &=\alpha\int_\mathbb{R} I(x\ge m)(x-m) dF(x) - (1-\alpha)\int_\mathbb{R} (x-m)I(x\lt m) dF(x)\\ &=\alpha\int_m^\infty(x-m)dF(x) - (1-\alpha)\int_{-\infty}^m(x-m) dF(x). }$

在本例中，随着在标准正态分布，绘制了的总概率加权区域。（该曲线是。）的右侧图最清楚地显示了权重正值的效果，因为如果不对此权重降低，图将关于原点对称。中间的图显示了最优值，其中蓝色墨水的总量（代表）尽可能小。 $m$ $F$ $\Lambda_{1/5}$ $\Lambda_{1/5}(x-m)dF(x)$ $m=0$ $\mathbb{E}_F(L_{1/5}(m,X))\$

此功能是可微的，因此可以通过检查关键点来找到其极值。施加链式法则与微积分的基本定理以获得衍生物相对于给出 $m$

\begin{aligned} \frac{\partial}{\partial m} E_{F} (L_{α} (m, X)) & = α (0 - \int_{m}^{\infty} d F (x)) - (1 - α) (0 - \int_{- \infty}^{m} d F (x)) \\ = F (m) - α . \end{aligned}

$\eqalign{ \frac{\partial}{\partial m}\mathbb{E}_F(L_\alpha(m,X))&=\alpha\left(0-\int_m^\infty dF(x)\right) - (1-\alpha)\left(0 - \int_{-\infty}^m dF(x)\right)\\ &= F(m) - \alpha. }$

对于连续分布，它始终具有解，根据定义，它是任何分位数。对于非连续分布，这可能不是有一个解决方案，但将有至少一个为其中对所有和对于所有：（根据定义）这也是的分位数。 $m$ $\alpha$ $X$ $m$ $F(x)-\alpha\lt 0$ $x\lt m$ $F(x)-\alpha\ge 0$ $x\ge m$ $\alpha$ $X$

最后，由于和，很显然，或都不会使这种损失最小化。这耗尽了对关键点的检查，表明符合要求。 $\alpha\ne 0$ $\alpha\ne 1$ $m\to-\infty$ $m\to\infty$ $\Lambda_\alpha$

作为特殊情况，是题。 $\mathbb{E}_F(2L_{1/2}(m,X)) = \mathbb{E}_F\left(\left|m-x\right|\right)$

— ub
source

感谢您为显示预期损失而付出的努力，并将正确点最小化。我想知道如何自己回答，但是您的解释很好。（+1）

m

$m$

2

您已经证明图片价值1000字。感谢@whuber =）

— Cam.Davidson.Pilon 2014年

8

本文有您的答案。具体来说，损失函数可以解释为通过减去来“平衡”附近的不同概率质量区域。对于中位数，这些质量区域相等：使损失函数与成比例（期望常数是可忽略的）得出中位数的理想结论。

L_{0.25} (m, X) = | (X - m) (0.25 - 1 {X > m}) | .

$L_{0.25}(m,X) = \left| \left( X - m \right) \left(0.25 - \mathbf{1}\{ X > m \} \right) \right|.$

0.25

$0.25$

0.25 - 1 {X > m}

$0.25 - \mathbf{1}\{ X > m \}$

L_{0.5} (m, X) = | (X - m) (0.5 - 1 {X > m}) | = | (X - m) \times \pm 0.5 |,

$L_{0.5}(m,X) = \left| \left( X - m \right) \left(0.5 - \mathbf{1}\{ X > m \} \right) \right| = \left| \left( X - m \right) \times \pm 0.5 \right|,$

| X - m |,

$\left| X - m\right|,$

（+1）干得好！-在哪里可以找到该维基百科文章并不明显；您必须考虑分位数回归。

— ub

谢谢@Matthew，这是一个很好的发现。我喜欢平衡解释

— Cam.Davidson.Pilon 2014年

我仍然无法理解。这是哪里来的？如果X在分位数之上，则权重为0.75，否则为0.25？只是它？

| (0.25) - 1 X > m) |

$|(0.25)-\mathbb{1}{X>m})|$

(X - m)

$(X-m)$

— IcannotFixThis15'Mar 9'9