为什么 L1 能把权重压成 0，L2 永远到不了 0

原视频：【机器学习基础】为什么 L1 能把权重压成 0、L2 永远到不了 0：梯度恒定对越近越拉不动，菱形尖角落在坐标轴 UP 主：古希腊掌管代码的神｜时长：0:56 ｜ tag：机器学习基础链接：https://www.bilibili.com/video/BV1FbpE61EjS

一句话结论

L1 的惩罚梯度是常数 $\lambda\cdot\text{sign}(w)$，离 0 多远拉力都一样，能在有限步内把权重推到 0 并停住；L2 的惩罚梯度是 $\lambda w$，权重越小拉力越弱，只会指数衰减式地无限接近 0。几何上是同一件事：L1 的约束区域是菱形，尖角落在坐标轴上，解容易撞在角上而天然稀疏。

面试答法

30 秒版：两种解释互相印证。从梯度看：L1 的拉力是恒定的 $\lambda\,\text{sign}(w)$，不随权重变小而减弱，所以能把权重一路推到 0；到了 0 点，只要损失项的梯度小于 $\lambda$，次梯度就能把它按住不动，于是精确地停在 0。L2 的拉力正比于 $w$ 本身，越靠近 0 拉得越慢，每步只是乘上一个 $(1-\eta\lambda)$，只能无限接近、永远不等于 0。从几何看：L1 约束是菱形、尖角在坐标轴上，损失等高线扩张时最先碰到的多半是角，那里就有坐标为 0；L2 是圆，没有角，碰点处坐标一般都不为 0。结论一句话：L1 自带特征选择（稀疏），L2 只做收缩（平滑）。

核心原理

1. 梯度解释：恒力 vs 衰减力

正则项加在损失后面：$L = L_0 + \lambda\sum_i |w_i|$（L1）或 $L = L_0 + \frac{\lambda}{2}\sum_i w_i^2$（L2）。只看正则项的梯度：

$$\frac{\partial \lambda|w|}{\partial w} = \lambda\,\text{sign}(w) \qquad \frac{\partial \frac{\lambda}{2}w^2}{\partial w} = \lambda w$$

L2：每步 $w \leftarrow w(1-\eta\lambda) - \eta\nabla L_0$，纯收缩时是指数衰减，数学上永不归零。
L1：每步固定减去 $\eta\lambda$（按符号），是线性推进，有限步到达 0。

L1 恒定拉力 vs L2 衰减拉力（视频截图，0:22）

2. 几何解释：菱形的尖角落在轴上

把正则写成约束形式：L1 是 $|w_1|+|w_2|\le C$（菱形），L2 是 $w_1^2+w_2^2\le C$（圆）。无约束最优点在区域外时，最优解落在等高线与约束区域的相切/相碰处。菱形的角恰好在坐标轴上（某个 $w_i=0$），等高线往外扩最先碰到的多半是角；圆上处处光滑，碰点坐标一般都不为 0。

菱形尖角 vs 圆（视频截图，0:37）

易错点与常见追问

"拉到 0 然后卡住"需要次梯度才严格成立：纯 SGD 里 L1 在 0 附近其实会来回振荡（$|w|$ 在 0 点不可导）；精确归零并停住靠的是次梯度条件——0 点的次梯度是区间 $[-\lambda, \lambda]$，只要 $|\nabla L_0| \le \lambda$ 就能平衡。工程上常用近端梯度（软阈值）实现：$w \leftarrow \text{sign}(w)\max(|w|-\eta\lambda, 0)$，一步就能产生精确的 0。这是面试官最爱深挖的一层。
L2 与 weight decay 不是一回事（在 Adam 系里）：SGD 下 L2 与权重衰减等价；换成 Adam 后，直接把 L2 加进损失会被自适应步长缩放，效果不等价，所以才有了 AdamW 的解耦衰减。答"为什么有 AdamW"时从这里接。
Elastic Net：L1+L2 混合，兼顾稀疏与对相关特征的成组保留；被问"L1 的缺点"时答：强相关特征里会任选其一丢掉其余，且对大权重惩罚不随量级增长（不如 L2 稳定）。
为什么稀疏 = 特征选择：权重精确为 0 的特征等于被移出模型，可解释性与推理成本都受益；L2 只能让权重变小，不能移除特征。

修订说明

视频主线（梯度恒定 vs 衰减、菱形尖角）准确。有两处表述需要在答题时收紧，已在正文处理：
"几步就拉到零，然后卡住不动"：对纯 SGD 并不严格成立（会在 0 附近振荡），"卡住"依赖次梯度平衡或近端软阈值，视频未区分。属于简化过度，已补正。
L2 部分写成 $\frac{\lambda}{2}w^2$ 与梯度 $\lambda w$ 是常见约定（视频画面公式即如此），答题时声明约定即可，不算错误。
配图均为视频截图（0:22 / 0:37）。