拉格朗日乘子法

这是拉格朗日乘子法最核心的几何洞察。让我用几种不同的方式来帮你建立这个直觉。

---

方式一：反证法（最直接）

假设在最小值点 $x^{\ast }$，$\nabla f$ 不垂直于约束曲面。

那么 $\nabla f$ 可以分解为两个分量：

• 法向分量：垂直于曲面
• 切向分量：沿着曲面

如果存在切向分量，意味着沿着约束曲面移动，$f$ 的值会变化。

具体来说：

• 如果切向分量指向 $f$ 增加的方向，我们就往反方向移动，$f$ 会减小。
• 这说明当前点不是最小值。

因此，在真正的最小值点，切向分量必须为零，$\nabla f$ 只能有法向分量，即垂直于约束曲面。

---

方式二：等高线视角

画出 $f(x)$ 的等高线（contour lines）——即 $f(x)=c$ 的曲线。

• 梯度 $\nabla f$ 总是垂直于等高线，指向 $f$ 增加最快的方向。
• 约束 $g(x)=0$ 是一条固定的曲线。

在最小值点 $x^{\ast }$，约束曲线必须与某条等高线相切。

为什么？因为如果约束曲线穿过等高线，那么沿着约束曲线移动，就会跨过不同的 $f$ 值——意味着有些方向的 $f$ 值更低，$x^{\ast }$ 就不是最小值。

两条曲线相切，意味着它们在切点的法向量平行：

• 等高线的法向量是 $\nabla f$
• 约束曲线的法向量是 $\nabla g$

所以 $\nabla f\parallel \nabla g$，即 $\nabla f$ 垂直于约束曲面。

图示：

        f = 1
        f = 2
        f = 3
          \
           \    x*（切点）
            \  /
             \/
         -----+-----  g(x)=0

---

方式三：一阶条件推导

沿着约束曲面的任意微小移动 $\delta x$，必须满足：

• 不离开曲面：$\nabla g\cdot \delta x=0$
• 不改变 $f$ 的值（因为是极值点）：$\nabla f\cdot \delta x=0$

这意味着：所有与 $\nabla g$ 正交的向量 $\delta x$，也必须与 $\nabla f$ 正交。

在线性代数中，这意味着 $\nabla f$ 和 $\nabla g$ 必须在同一条直线上，即：

$$\nabla f=\lambda \nabla g$$

几何上，这就是 $\nabla f$ 垂直于约束曲面。

---

方式四：物理直觉（最生动）

想象你是一个小球，在一个光滑的弯曲管道（约束曲面）里滚动，受重力作用。

重力是 $-\nabla f$（$f$ 是势能）。

小球最终停在管道的最低点。

在这个平衡点：

• 重力有把小球往管道壁上压的分量（法向）
• 重力没有沿着管道推小球的分量（切向）

如果重力有切向分量，小球就会继续滚动，直到切向分量为零。

所以平衡时，重力（即 $\nabla f$）必须完全垂直于管道壁。

管道壁的法向是 $\nabla g$，所以 $\nabla f\parallel \nabla g$。

---

方式五：具体数值例子

最小化 $f(x,y)=x^2+y^2$，约束 $x+y=1$。

画出 $f$ 的等高线：以原点为中心的同心圆。

约束是一条直线 $y=1-x$。

在这个直线上，我们想找离原点最近的点（因为 $f$ 是距离的平方）。

几何上：从原点到直线的最短距离，沿着垂直于直线的方向。

直线 $x+y=1$ 的法向量是 $(1,1)$。

从原点到直线的垂线方向也是 $(1,1)$。

所以在最优点 $(0.5,0.5)$：

• $\nabla f=(2x,2y)=(1,1)$
• $\nabla g=(1,1)$

两者平行，$\nabla f$ 垂直于约束直线。

---

总结

视角	核心洞察
反证法	如果有切向分量，就能继续下降
等高线	约束曲线必须与等高线相切
一阶条件	正交于 $\nabla g$ 的向量也必须正交于 $\nabla f$
物理	小球平衡时重力垂直于接触面
几何	点到曲面的最短距离沿着法向

一句话精要：

如果在最小值点梯度不垂直于约束曲面，你就可以沿着曲面往下滑——这与“最小值”矛盾。因此，梯度必须与曲面垂直，即与曲面的法向量平行。