影响功能和OLS

我试图了解影响功能是如何工作的。有人可以在简单的OLS回归中解释吗

ÿ_{一世} = α + β \cdot X_{一世} + ε_{一世}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

在这里我想影响作用的 $\beta$ 。

regression least-squares

— 史蒂夫·杰布
source

这里还没有一个具体问题：您是否想看看影响函数是如何计算的？您是否需要一个具体的经验示例？含义的启发式解释？

— ub

如果您查阅弗兰克·克里奇利（Frank Critchley）在1986年发表的论文“主要成分中的影响函数”（不记得该论文的确切名称）。他在此处定义了用于普通回归的影响函数（可能会也可能不会证明我的答案是错误的）。

— 概率

影响函数基本上是一种分析工具，可用于评估删除对统计值的观察结果的效果（或“影响”），而不必重新计算该统计量。它们还可以用于创建渐近方差估计。如果影响力等于则渐近方差为 $I$ 。 $\frac{I^2}{n}$

我了解影响功能的方式如下。您有某种理论CDF，用。对于简单的OLS，您可以 $F_{i}(y)=Pr(Y_{i}<y_{i})$

其中是标准正态CDF，而是误差方差。现在，您可以证明任何统计信息都是该CDF的函数，因此记号（即某些函数）。现在假设我们改变功能由“点点”，以

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

其中

，和

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

。因此，

代表删除了第“ i”个数据点的数据的CDF。我们可以做一个泰勒级数的

约

。这给出：

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$

ζ = 0

$\zeta=0$

小号 [F_{（ 一世 ）} （ ž ， ζ ）] \approx 小号 [F_{（ 一世 ）} （ ž ， 0 ）] + ζ [\frac{\partial 小号 [F_{（ 一世 ）} （ ž ， ζ ）]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

注意所以我们得到： $F_{(i)}(z,0)=F(z)$

小号 [F_{（ 一世 ）} （ ž ， ζ ）] \approx 小号 [F （ ž ）] + ζ [\frac{\partial 小号 [F_{（ 一世 ）} （ ž ， ζ ）]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

$\beta$

β = \frac{\frac{1个}{ñ} \sum_{Ĵ = 1个}^{ñ} （ ÿ_{Ĵ} - \bar{ÿ} ） （ X_{Ĵ} - \bar{X} ）}{\frac{1个}{ñ} \sum_{Ĵ = 1个}^{ñ} （ X_{Ĵ} - \bar{X} ）^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

因此，β是两个统计量的函数：X的方差以及X和Y之间的协方差。这两个统计量的CDF表示为：

C Ø v （ X ， ÿ ） = \int （ X - μ_{X} （ F ） ） （ ÿ - μ_{ÿ} （ F ） ） d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$

v 一种 [R （ X ） = \int （ X - μ_{X} （ F ） ）^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{X} = \int X d F

$\mu_x=\int xdF$

为了删除第i个观察值，我们将其替换 $F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x} ）

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V 一种 [R （ X ）_{（ 一世 ）} = \int （ X - μ_{X （ 一世 ）} ）^{2} d F_{（ 一世 ）} = \int （ X - μ_{X} + ζ （ X_{一世} - μ_{X} ） ）^{2} d [（ 1个 + ζ ） F - ζ δ_{（ 一世 ）}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

忽略的方面，并简化我们得到： $\zeta^{2}$

V 一种 [R （ X ）_{（ 一世 ）} \approx V 一种 [R （ X ） - ζ [（ X_{一世} - μ_{X} ）^{2} - V 一种 [R （ X ）]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C Ø v （ X ， ÿ ）_{（ 一世 ）} \approx C Ø v （ X ， ÿ ） - ζ [（ X_{一世} - μ_{X} ） （ ÿ_{一世} - μ_{ÿ} ） - C Ø v （ X ， ÿ ）]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

$\beta_{(i)}$ $\zeta$

β_{（ 一世 ）} （ ζ ） \approx \frac{C Ø v （ X ， ÿ ） - ζ [（ X_{一世} - μ_{X} ） （ ÿ_{一世} - μ_{ÿ} ） - C Ø v （ X ， ÿ ）]}{V 一种 [R （ X ） - ζ [（ X_{一世} - μ_{X} ）^{2} - V 一种 [R （ X ）]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

现在，我们可以使用泰勒级数：

β_{（ 一世 ）} （ ζ ） \approx β_{（ 一世 ）} （ 0 ） + ζ {[\frac{\partial β_{（ 一世 ）} （ ζ ）}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

简化后得到：

β_{（ 一世 ）} （ ζ ） \approx β - ζ [\frac{（ X_{一世} - μ_{X} ） （ ÿ_{一世} - μ_{ÿ} ）}{V 一种 [R （ X ）} - β \frac{（ X_{一世} - μ_{X} ）^{2}}{V 一种 [R （ X ）}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

$\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{（ 一世 ）} \approx β - \frac{X_{一世} - \bar{X}}{ñ - 1个} [\frac{ÿ_{一世} - \bar{ÿ}}{\frac{1个}{ñ} \sum_{Ĵ = 1个}^{ñ} （ X_{Ĵ} - \bar{X} ）^{2}} - β \frac{X_{一世} - \bar{X}}{\frac{1个}{ñ} \sum_{Ĵ = 1个}^{ñ} （ X_{Ĵ} - \bar{X} ）^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

$\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{（ 一世 ）} \approx β - \frac{\overset{〜}{X_{一世}}}{ñ - 1个} [\overset{〜}{ÿ_{一世}} \frac{s_{ÿ}}{s_{X}} - \overset{〜}{X_{一世}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— 概率逻辑
source

那么故事是关于附加数据点的影响的？我更习惯于时间序列数据的脉冲响应，在统计方面，所有影响都将通过边际效应或标准化回归中的（更好选择）β系数来描述。好吧，我确实需要更多上下文来判断问题和答案，但是我认为这一点很好（（还没有+1，但正在等待）。

— Dmitrij Celov 2011年

@dmitrij-这是从链接中隐含的（或我推断的）-它与统计的鲁棒性有关。影响函数比1个数据点更通用-您可以将增量函数重新定义为它们的总和（如此多的观察值）。我会在某种程度上将其视为“廉价的折磨”-因为您不需要重新拟合模型。

— 概率

这是讨论回归影响函数的一种超级通用的方法。首先，我将介绍一种表达影响力的方法：

$F$ $\Sigma$ $F_\epsilon(x)$

F_{ϵ} （ X ） = （ 1个 - ϵ ） F + ϵ δ_{X}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

由此我们可以很容易地定义影响函数：

$\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ} ， F} （ X ） = \underset{ϵ \to 0}{林} \frac{\hat{θ} （ F_{ϵ} （ X ） ） - \hat{θ} （ F ）}{ϵ}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

$\hat\theta$ $F$ $\delta_x$

OLS估计值可以解决此问题：

\hat{θ} = 精氨酸 \underset{θ}{分} Ë [（ ÿ - X θ ）^{Ť} （ ÿ - X θ ）]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

想象一个受污染的分布，它使观测值更大 $(x,y)$ ：

{\hat{θ}}_{ϵ} = 精氨酸 \underset{θ}{分} （ 1个 - ϵ ） Ë [（ ÿ - X θ ）^{Ť} （ ÿ - X θ ）] + ϵ （ ÿ - X θ ）^{Ť} （ ÿ - X θ ）

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

采取一阶条件：

{（ 1个 - ϵ ） Ë [X^{Ť} X] + ϵ X^{Ť} X} {\hat{θ}}_{ϵ} = （ 1个 - ϵ ） Ë [X^{Ť} ÿ] + ϵ X^{Ť} ÿ

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

由于影响函数只是Gateaux的导数，我们现在可以说：

- （ Ë [X^{Ť} X] + X^{Ť} X ） {\hat{θ}}_{ϵ} + Ë [X^{Ť} X] ψ_{θ} （ X ， ÿ ） = - Ë [X^{Ť} ÿ] + X^{Ť} ÿ

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

$\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} （ X ， ÿ ） = Ë [X^{Ť} X]^{- 1个} X^{Ť} （ ÿ - X θ ）

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

此影响函数的有限样本对应项是：

ψ_{θ} （ X ， ÿ ） = {（ \frac{1个}{ñ} \sum_{一世} X_{一世}^{Ť} X_{一世} ）}^{- 1个} X^{Ť} （ ÿ - X θ ）

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

总的来说，我发现此框架（将影响力功能用作Gateaux衍生物）更易于处理。

— 杰克
source