假设我有形式的纵向数据（我有多个观察结果，这只是一个形式）。我对限制感兴趣。不受限制的等效于 与。
通常不这样做，因为它需要估计协方差参数。如果我们采用则模型为“ ” 即我们仅使用前面的项可以根据历史预测。
我真正想做的是使用某种收缩方法将某些清零，例如LASSO。但事实是，我也想用我喜欢的模型，其是lag-方法一些 ; 我想对高阶滞后的惩罚要比低阶滞后的惩罚更多。考虑到预测变量高度相关，我认为这是我们特别想做的事情。
另一个问题是，如果（说）缩小为我也希望缩小为，即在所有条件分布中使用相同的滞后。
我可以对此进行推测，但是我不想重新发明轮子。是否有旨在解决此类问题的LASSO技术？我是否最好只做其他事情，例如逐步添加滞后单？由于我的模型空间很小，我什至可以对这个问题使用惩罚？
Answers:
您可以从k = 0到最大值，反复进行交叉验证，然后针对k绘制性能。由于正在对模型进行从未见过的数据测试，因此无法保证复杂模型的性能会更好，并且如果由于过度拟合而使模型变得过于复杂，确实会导致性能下降。我个人认为，这比拥有任意罚款因子更安全，更容易辩护，但您的行驶里程可能会有所不同。
我也不太了解套索如何回答这个问题。似乎过于严格，它完全强制了系数的排序。而原始问题可能会针对某些具有解决方案的数据而结束，其中并非严格随l减小。
该命令LASSO似乎是你在找什么：它计算规则化回归系数在标准套索，但受制于附加约束。
这样就实现了第二个目标，即对高阶滞后的系数归零，但是比偏爱较低滞后模型的唯一限制更具限制性。正如其他人所指出的那样，这是一个严格的限制，可能很难证明其合理性。
在消除了警告之后，本文在真实和模拟时间序列数据上都给出了该方法的结果，并详细介绍了找到系数的算法。结论中提到了R软件包，但该论文是最近的，并且在CRAN上搜索“有序LASSO”是空的，因此我怀疑该软件包仍在开发中。
本文还提供了一种通用方法，其中使用两个正则化参数“鼓励接近单调性”。（请参阅第6页。）换句话说，人们应该能够调整参数以实现轻松的排序。可悲的是，既没有提供示例也没有提供宽松方法的比较。但是，作者写道，实现这一更改是用一种算法替换另一种算法的简单问题，因此有人希望它将成为即将到来的R包的一部分。
我知道您将它作为前提编写，但是在绝对不确定这是必需的情况下，我不会使用有序LASSO，因为有序LASSO的假设并不直接适合于时间序列预测。作为反例，请考虑在测量和目标之间有十个时间步长的延迟时间的情况。显然，如果不将废话归因于前9个参数，则有序LASSO约束将无法处理此类影响。
相比之下，我宁愿坚持正常的套索，包括所有以前的观察-尤其是因为你写你的模型空间小，并协调血统套索优化程序（如描述这里）是有效的也工作了大型数据集。然后计算正则化强度参数的路径，并查看从大到包含哪些参数。特别是那些较早的是重要的。
最后，您必须选择适当的标准，并使用交叉验证，标准一维最小化或其他方法来优化参数。该标准例如可以是“预测误差+包含变量的数量”（类似于AIC标准）。