我知道线性回归模型中的LASSO，山脊和弹性网正则化类型。

题：

1. 可以将这种（或类似的）惩罚估计应用于ARIMA建模（具有非空MA部分）吗？

$p_{max}$$q_{max}$ q ⩽ q 米一个$p \leqslant p_{max}$$q \leqslant q_{max}$

我的其他问题是：

2. 我们是否可以包括（，）之前的所有项，但是会惩罚系数的大小（可能一直到零）？那有道理吗？ q 中号一个$p_{max}$$q_{max}$
3. 如果可以，是否已在R或其他软件中实现？如果没有，那是什么麻烦？

一些相关的帖子可以在这里找到。

回答问题1。

Chen＆Chan的“通过自适应套索进行子集ARMA选择”（2011年）*使用了一种变通方法来避免计算上要求最大的似然估计。他们引用这篇论文

建议通过将时间序列的自适应Lasso回归与其自身的滞后以及通过对y t s 拟合长的自回归获得的残差的自适应Lasso回归来找到最优子集ARMA模型。[...]在温和的规律性条件下，所提出的方法获得了预言性，即，当样本量增加到无穷大时，它会识别概率趋于于1的正确的子集ARMA模型，并且...非零系数的估计量是渐近正态的，其极限分布与先验已知零系数的情况相同。$y_t$$y_t$

可选地，他们建议针对所选的子集ARMA模型进行最大似然估计和模型诊断。

Wilms等。“高维矢量自回归移动平均的稀疏识别和估计”（2017年）的作用甚至超出了我的要求。他们采用高维向量ARMA（VARMA）代替了单变量ARIMA模型，并且使用罚分进行估计和滞后顺序选择。他们提出了估计算法并得出了一些渐近结果。$L_1$

特别是，他们采用两阶段程序。考虑一个VARMA模型 需要被估计，但滞后阶数p和q是UKNOWN。

• 在阶段1中，他们通过高阶VAR模型近似VARMA模型，并使用Hierarchical VAR估计器对其进行估计，该估计器将基于滞后的分层group-lasso惩罚置于自回归参数上。
  （滞后顺序被设定为。共同估计模型方程和误差的Frobenius范数| | ÿ - ÿ | | ˚F 2被最小化与该回归系数的分级组套索罚分）。 他们获得残差 ε：=ÿ - ÿ被用作代理以便在第2阶段的真实误差。$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• 在第2阶段，他们估计VARx前提模型，其中X代表滞后来自阶段1。即残差，它们MINIC一个VARMA模型，但代替真实的错误，使用估计残差这允许将相同的估计器（分级组套索）再次就像在阶段1 （p和

  $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$被设定为。）$\lfloor 1.5\sqrt{T} \rfloor$

Wilms等人的方法。是在R封装中实现“BIGTIME”。

参考文献

• Chen，K.，＆Chan，KS（2011）。通过自适应套索子集进行ARMA选择。 统计及其接口，4（2），197-205。
• 威尔姆斯，巴苏·S，比恩·J。和马特森·DS（2017）。高维向量自回归移动平均值的稀疏识别和估计。 arXiv预印本arXiv：1707.09208。

^{*感谢@hejseb提供的链接。}