有条件异方差的线性模型的推论

假设我观察到独立变量向量和以及因变量。我想拟合以下形式的模型：其中是某个正值二次可微函数，是未知的缩放参数，是零均值，单位方差高斯随机变量（假定独立于和）。这实质上是Koenker异方差检验的设置（至少据我所知）。 $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

我对和有 $n$ 个观察值，我想估算和。不过，我有一些问题： $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

我不确定如何将估计问题摆成最小二乘法（我认为有一个众所周知的技巧）。我的第一个猜测可能是 $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$ 但我我不确定如何用数值方法求解（也许可以用迭代牛顿迭代法）。
假设我可以以理智的方式提出问题并找到一些估计 $\hat{\beta}_1, \hat{\beta}_2$ ，我想知道估计的分布，以便例如执行假设检验。我可以分别测试两个系数向量，但是可以使用某种测试方法，例如 $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ 给定 $\vec{w_1}, \vec{w_2}, c$ 。

— 破旧的
source

好问题。你对是什么样子有想法吗？顺利吗？它有跳跃吗？您没有尝试最小平方，而是尝试了最大可能性（您知道本文 projecteuclid.org/…吗？）

g

$g$

— 罗宾吉拉德

@robin girard：MLE是问题1的一个好主意。我怀疑对于高斯误差，MLE将给出与我的临时最小化相同的估计。至于，正如我所指出的，我们可以假定它是正值且可微分两次。我们也许可以假设它也是凸的，也许我们可以假设它是解析的。

g

$g$

— shabbychef

在稍微更一般的上下文中，是观测值的维向量（响应或因变量），是观测值的矩阵（协变量或因变量），并且的参数，即则减对数似然度为在OP的问题中，与 $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ 因此行列式变为，结果减对数似然率变为有几种方法可以使此函数最小化（假设这三个参数与变化无关）。

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

您可以尝试通过记住的约束的标准优化算法来使函数最小化。 $\sigma > 0$
您可以通过最小化固定来计算的配置文件负对数可能性，然后将结果函数插入标准无约束优化算法中。 $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
您可以在分别对三个参数进行优化之间交替进行。在优化可以通过分析来完成，在上的优化是加权最小二乘回归问题，而在上的优化等同于使用的反向链接拟合gamma广义线性模型。 $\sigma$ $\beta_1$ $\beta_2$ $g^2$

最后一个建议吸引了我，因为它建立在我已经熟知的解决方案的基础上。此外，无论如何，我都会考虑进行第一次迭代。也就是说，首先使用普通最小二乘法计算的初始估计值，考虑潜在的异方差，然后对平方残差拟合gamma glm以得到的初始估计值只是为了检查更复杂的模型是否值得。然后，将异方差作为权重合并到最小二乘解中的迭代可能会在估计时有所改善。 $\beta_1$ $\beta_2$ $-$

关于问题的第二部分，我可能会考虑通过使用标准MLE渐近线（通过仿真检查渐近线是否有效）或通过自举来计算线性组合的置信区间。 $w_1^T\beta_1 + w_2^T\beta_2$

编辑：通过标准的MLE渐近性，我的意思是使用多元正态近似到带有协方差矩阵的MLE分布的反Fisher信息。根据定义，Fisher信息是的梯度的协方差矩阵。通常取决于参数。如果您可以找到此数量的解析表达式，则可以尝试插入MLE。或者，您可以通过观察到的 Fisher信息（即MLE 中的Hessian）估算Fisher信息。您感兴趣的参数是两个参数的线性组合 $l$ $l$ $\beta$ -载体，因此，从逼近MLE的多元正常的描述，你可以找到的估计分布的正常近似这里。这为您提供了近似的标准误差，并且您可以计算置信区间。在许多（数学）统计书籍中都对它进行了很好的描述，但是我可以推荐的一个合理的演示文稿是Yudi Pawitan撰写的In All Likelihood。无论如何，渐近理论的形式推导是相当复杂的，并且依赖于许多规律性条件，并且它仅给出有效的渐近分布。因此，如果有疑问，我将始终使用新模型进行一些仿真，以检查我是否可以相信实际参数和样本量的结果。如果拟合过程不太耗时，可以使用简单，非参数的引导程序从观察的数据集中采样三元组进行替换，这将是一种有用的替代方法。 $(y_i,x_i,z_i)$

— NRH
source

什么是标准MLE渐近？

— shabbychef

@shabbychef，已经晚了。我已经给出了更详细的解释。请注意，要使渐近论在理论上如所解释的那样工作，模型必须正确，估计量必须是MLE。可以在一般估计函数和估计方程的框架中获得更多一般结果，例如，参见Heyde 的《Quasi-likelihood and ...》一书。

— NRH