能够

如果 $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$， 能够 $\|\beta^*\|_2$ 增加时间 $\lambda$ 增加？

我认为这是可能的。虽然$\|\beta^*\|_1$ 何时不增加 $\lambda$增加（我的证明），$\|\beta^*\|_2$可以增加。下图显示了一种可能性。什么时候$\lambda$ 增加，如果 $\beta^*$ 从（线性）行进 $P$ 至 $Q$， 然后 $\|\beta^*\|_2$ 增加而 $\|\beta^*\|_1$减少。但是我不知道如何构造一个具体的例子（即$X$ 和 $y$），这样 $\beta^*$证明这种行为。有任何想法吗？谢谢。

答案是肯定的，并且您在 $\ell_2$ 在那里。

查找向量规范的等价定义。你会发现

$$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$$ 哪里 $n$ 是向量的维数 $x$。因此，有一些回旋的余地了$\ell_2$ 规范，相比 $\ell_1$ 规范。

实际上，您要解决的问题可以表述为：

找 $d$ 这样

$$\|x + d\|_2 > \|x\|_2$$ 同时 $$\|x + d\|_1 < \|x\|_1.$$

平方第一个不等式，扩大并看到

$$2\sum_i x_id_i > -\sum_i d_i^2$$ 并假设 $x_i\geq0$ 和 $x_i+d_i\geq0$，我们从第二个不等式中得出 $$\sum_i d_i < 0.$$ 任何 $d$ 满足这些约束将增加 $\ell_2$ 规范，同时减少 $\ell_1$ 规范。

在您的示例中 $d\approx[-0.4, 0.3]^T$， $x:=P\approx[0.5, 0.6]^T$和

$$\sum_i d_i\approx-0.1<0,$$ 和 $$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$$

感谢@TommyL的回答，但他的回答并不直接涉及到 $X$ 和 $y$。我自己以某种方式“解决”了这个问题。首先，什么时候$\lambda$ 增加， $\|\beta^*\|_2$ 当每个 $\beta^*_i$单调减少。这发生在$X$ 是正交的，我们有

$$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$$

从几何上讲，在这种情况下 $\beta^*$ 垂直于 $\ell_1$ 规范，所以 $\|\beta^*\|_2$ 不能增加。

实际上，Hastie等人。在论文中提到正向逐步回归和单调套索，轮廓路径的单调性的充要条件：

在本文的第6节中，他们基于分段线性基函数构造了一个人工数据集，该数据集违反了上述条件，显示出非单调性。但是，如果运气好的话，我们还可以创建一个随机数据集，以相似的方式展示其行为，但方式更简单。这是我的R代码：

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

我故意让 $X$的列高度相关（与正常情况相去甚远）， $\beta$具有大量正面和负面条目。这是$\beta^*$的配置文件（不足为奇，只有5个变量被激活）：

和之间的关系 $\lambda$ 和 $\|\beta^*\|_2$：

所以我们可以看到一段时间 $\lambda$， $\|\beta^*\|_2$ 随着增加 $\lambda$ 增加。