证明非线性最小二乘估计的渐近正态性

我们的模型是，其中，而是的非线性函数。$Y=X(\beta_0)+u$$u\sim IID(0,\sigma_0^2I)$$X(\beta)$

当尝试最小化我们得到以下FOC：$SSR(\beta)$

$\nabla X(\beta)^T(Y-X(\beta))=0$，其中是渐变。$\nabla X(\beta)$

好吧，FOC等效于。$n^{(-1/2)}(\nabla X(\beta)^T(X(\beta_0)+u-X(\beta))=0$

如果我们将一阶泰勒展开到每个部件的，我们得到，其中是连接和线段中的一个点。对于我们所做的每个taylor扩展，这一点可能有所不同，这就是为什么将其索引为的原因。$X_t(\beta)$$X(\beta)$$X_t(\beta)=X_t(\beta_0)+\nabla X(\bar\beta_{(t)})^T(\beta-\beta_0)$$\bar\beta_{(t)}$$\beta$$\beta_0$$t$

在FOC中插入taylor扩展： ，其中\ nabla \ bar X是具有\ nabla X（\ bar \ beta _ {{i）}）作为第i列的矩阵。∇ ˉ X ∇ X （ˉ β（我）$n^{(-1/2)}(\nabla X(\beta)^T(u-\nabla \bar X^T(\beta-\beta_0))=0$$\nabla \bar X$$\nabla X(\bar\beta_{(i)})$

以上所有计算是否正确？我之所以这么问，是因为在本书的第225页中，作者声明我们应该获得带有X（\ beta）的二阶导数的项$X(\beta)$……我不明白为什么这样。

任何帮助，将不胜感激

看来您要做的不是泰勒展开，而是平均值定理的一种应用（应该如此）。如果是泰勒展开式，则除余数外，必须在处评估梯度。使用平均值定理，就没有余数，您可以在始终位于和之间的处评估梯度。 ˉ $\beta_0$$\bar \beta$$\beta$$\hat \beta$

关于二阶导数/ Hessian问题，正式地说，它们/它仅“暂时”出现在非线性最小二乘估计量的渐近正态性的推导中，但它们渐近消失（而在最大似然估计量中，Hessian保持不变那里）。

除此之外，我们要最小化残差平方和，因此，用索引观察值，并使用更简单的表示法（您必须将其调整为矢量矩阵表示法），然后着手将 wr到向量，以获得。因此，您的FOC是（抑制回归变量并将索引传递给函数）Σ 我 [ ù 我（β ）] 2 = Σ 我 [ ÿ 我 - ħ （X我，β ）] 2 β β我$i$$\sum_i[u_i(\beta)]^2 = \sum_i[y_i-h(\mathbf x_i,\beta)]^2$$\beta$$\hat \beta$$i$$h$

$$\hat \beta : \sum_i\frac {\partial }{\partial \beta}[y_i-h_i(\beta)]^2 = 0 \implies \sum_i2[y_i-h_i(\hat \beta)] \frac {\partial h_i (\hat \beta)}{\partial \beta} =0,$$

忽略“ ”并将平均值定理应用于整个表达式 以得到$2$

$$\sum_i[y_i-h_i(\beta)] \frac {\partial h_i (\hat \beta)}{\partial \beta} = \sum_i[y_i-h_i(\beta_0)] \frac {\partial h_i (\beta_0)}{\partial \beta} \\ + (\hat \beta -\beta) \sum_i\left [-\frac {\partial h_i (\bar \beta)}{\partial \beta}\frac {\partial h_i (\bar \beta)}{\partial \beta}+ [y_i-h_i(\bar \beta)]\frac {\partial^2 h_i (\bar \beta)}{\partial \beta^2}\right] =0$$

请注意，，这是真正的错误，除以，然后乘以，然后允许重新排列以得到 1 / Ñ $y_i-h_i(\beta_0) = u_i$$1/n$$\sqrt n$

$$\sqrt n (\hat \beta -\beta) = -\left (\frac 1n\sum_i\left [-\frac {\partial h_i (\bar \beta)}{\partial \beta}\frac {\partial h_i (\bar \beta)}{\partial \beta}\right] + \frac 1n\sum_i\left [[y_i-h_i(\bar \beta)]\frac {\partial^2 h_i (\bar \beta)}{\partial \beta^2}\right]\right)^{-1} \cdot \left(\frac 1{\sqrt n} \sum_iu_i \frac {\partial h_i (\beta_0)}{\partial \beta} \right)$$

现在，我们考虑渐近正态性，给出的一致性成立， 。由于夹在和，因此也是如此。这意味着 ˉ β β β0 ˉ β p →交通 β$\hat \beta \xrightarrow{p} \beta_0$$\bar \beta$$\hat \beta$$\beta_0$$\bar \beta \xrightarrow{p} \beta_0$

$$\frac 1n\sum_i\left [[y_i-h_i(\bar \beta)]\frac {\partial^2 h_i (\bar \beta)}{\partial \beta^2}\right] \xrightarrow{p} \frac 1n\sum_i\left [[y_i-h_i(\beta_0)]\frac {\partial^2 h_i (\beta_0)}{\partial \beta^2}\right] \\= \frac 1n\sum_i\left [E(u_i) E\frac {\partial^2 h_i (\beta_0)}{\partial \beta^2}\right] =0$$

因为。$E(u_i) =0$

因此，这个词渐近消失，剩下的就是（取消负数）

$$\sqrt n (\hat \beta -\beta) \xrightarrow{d} \left (\text {plim}\frac 1n\sum_i\left [\frac {\partial h_i (\beta_0)}{\partial \beta}\frac {\partial h_i (\beta_0)}{\partial \beta}\right] \right)^{-1} \cdot \left(\frac 1{\sqrt n} \sum_iu_i \frac {\partial h_i (\beta_0)}{\partial \beta} \right)$$

您必须假设第一个总和收敛到正定的某个值，而第二个总和收敛于一个正态随机变量的分布，并且您确实做了这些假设（或更深层次的假设导致了这些假设）。我没有您提到的具体书，但是您可以将以上内容与Davidson＆McKinnon的“计量经济学理论与方法”（2004）ch进行比较。6，约当量。。 $(6.30)$

基于Alecos Papadopoulos的答案，我要发布一个矩阵表示的答案。我将对表示法进行一些更改，以使其更易于理解。

FOC为。这在提供了一个函数，其中是 ×的矩阵，元素为。β d X（β ）Ñ × ķ ∂ X $D_\mathbf{x}( \beta )^T(\mathbf{y}-\mathbf{x}(\beta))=0$$\beta$$D_\mathbf{x}( \beta )$$N\times K$$\frac{\partial x_n}{\partial\beta_k}(\beta)$

因此，将泰勒展开式（一阶）/均值定理应用于等式的LHS的每个分量，我们得到

$$\begin{equation} D_\mathbf{x}(\beta_0)^T \mathbf{u} +\big[H_\mathbf{x}(\bar\beta)-D_\mathbf{x}(\bar\beta)^T D_\mathbf{x}(\bar\beta)\big](\hat\beta-\beta_0)=0 \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \text{(a)} \end{equation}$$

其中表示矩阵，每个元素为，其中。类似地，是的Gramian矩阵，用个元素。ķ × ķ ħ 我Ĵ（ˉ β我）[ Ý - X（ˉ β我）] ħ 我Ĵ（ˉ β我）= [ ∂ 2 X $H_\mathbf{x}(\bar\beta)$$K\times K$$H_{ij}(\bar\beta_i)[\mathbf{y}-\mathbf{x}(\bar\beta_i)]$dX（ˉβ）ŤdX（ˉβ）dX（ˉβ）我ĴΣÑ升∂X$H_{ij}(\bar\beta_i)=\begin{bmatrix} \frac{\partial^2 x_1}{\partial\beta_j\partial\beta_i}(\bar\beta_i) & \dots & \frac{\partial^2 x_n}{\partial\beta_j\partial\beta_i}(\bar\beta_i) \end{bmatrix}$$D_\mathbf{x}(\bar\beta)^T D_\mathbf{x}(\bar\beta)$$D_\mathbf{x}(\bar\beta)$$ij$$\sum_l^n\frac{\partial x_l}{\partial\beta_j}(\bar\beta_i)\frac{\partial x_l}{\partial\beta_i}(\bar\beta_i)$

从（a）中，。$n^{\frac{1}{2}}(\hat\beta-\beta_0)=-\left(\frac{1}{n}H_\mathbf{x}(\bar\beta)-\frac{1}{n}D_\mathbf{x}(\bar\beta)^T D_\mathbf{x}(\bar\beta)\right)^{-1}n^{-\frac{1}{2}}D_\mathbf{x}(\beta_0)^T \mathbf{u}$

从非线性模型中我们知道$n^{-\frac{1}{2}}D_\mathbf{x}(\beta_0)^T \mathbf{u}=n^{-\frac{1}{2}}\sum_i^n u_i D_{\mathbf{x}i}(\beta_0)^T\rightarrow^d N\left(\underbrace{E(u_i D_{\mathbf{x}i}(\beta_0)^T)}_{=\mathbf{0}},\underbrace{\lim 1/n \sum E(u_i^2 D_{\mathbf{x}i}(\beta_0)D_{\mathbf{x}i}(\beta_0)^T)}_{\sigma_0^2 S_{D_0^TD_0}}\right)$

通过CLT。

由于我们知道，所以我们有。$\bar \beta\rightarrow^p \beta_0$$\frac{1}{n}H_\mathbf{x}(\bar\beta)\rightarrow^p \left[\frac{1}{n}\sum \underbrace{E\left( \underbrace{(y_i-x_i\beta_0)}_{=u_i}\frac{\partial^2 x_1}{\partial\beta_j\partial\beta_i}(\beta_0)\right)}_{=0}\right]_{K\times K}=\mathbf{0}$

类似地，我们有。$\frac{1}{n}D_\mathbf{x}(\bar\beta)^T D_\mathbf{x}(\bar\beta)\rightarrow^p S_{D_0^TD_0}$

因此，我们可以得出以下结论：。$n^{\frac{1}{2}}(\hat\beta-\beta_0)\rightarrow^p N(\mathbf{0},\sigma_0^2 S_{D_0^TD_0}^{-1})$