前提假设
设 f:R→R 是凸、可微、严格凸的函数(为简化推导,暂不考虑次梯度),且增长足够快(如超线性),使得上确界可达且唯一。
定义勒让德变换(凸共轭):
f∗(p)=x∈Rmax(px−f(x))
最大值点 x(p) 满足一阶条件:
p−f′(x(p))=0⇒p=f′(x(p))
因 f 严格凸,f′ 严格增,故 x(p)=(f′)−1(p) 是良定义的。
第一步:写出 f∗(p) 的显式并求导
由 p=f′(x) 及 x=x(p) 得:
f∗(p)=p⋅x(p)−f(x(p))
对 p 求导:
(f∗)′(p)=x(p)+p⋅x′(p)−f′(x(p))⋅x′(p)
代入 f′(x(p))=p:
(f∗)′(p)=x(p)+px′(p)−px′(p)=x(p)
因此得到关键关系:
(f∗)′(p)=x(p)
这与原关系 f′(x)=p 形成对偶:
第二步:对 f∗ 再作勒让德变换
定义:
f∗∗(x)=p∈Rsup(xp−f∗(p))
对固定的 x,考察函数 ϕ(p)=xp−f∗(p)。
求导:
ϕ′(p)=x−(f∗)′(p)=x−x(p)
令 ϕ′(p)=0 得:
x(p)=x
由 x(p)=(f′)−1(p) 知 p=f′(x)。
此时计算函数值:
xp−f∗(p)=x⋅f′(x)−[f′(x)⋅x−f(x)]=xf′(x)−xf′(x)+f(x)=f(x)
其中第二步使用了 f∗(p)=px(p)−f(x(p)) 且 x(p)=x。
第三步:验证最大值
由于 f∗ 是凸函数(勒让德变换保持凸性),而 xp−f∗(p) 是 p 的凹函数(因为 −f∗(p) 凹),故导数为零的点是全局最大值点。
因此:
p∈Rsup(xp−f∗(p))=f(x)
即:
f∗∗(x)=f(x)
这表明勒让德变换是对合变换(involution):两次变换回到原函数。
几何与直观解释
| 原变换 | 对偶变换 |
|---|
| f(x)Legendref∗(p) | f∗(p)Legendref(x) |
| 用斜率 p 作为新变量 | 用原来的 x 作为新变量 |
| p=f′(x) | x=(f∗)′(p) |
| f∗(p)=px−f(x) | f(x)=xp−f∗(p) |
两者完全对称,仅交换 (x,f) 与 (p,f∗) 的角色。
在最优点处满足:
f(x)+f∗(p)=xp
这正是“不同角度定义同一个问题”的精确数学表达:
原函数用 x 描述,对偶函数用斜率 p 描述,二者通过切线关系等价。
示例验证:f(x)=21x2
- f′(x)=x,令 p=x
- f∗(p)=p⋅p−21p2=21p2
- 再变换:(f∗)′(p)=p=x
- f∗∗(x)=x⋅x−21x2=21x2=f(x)
该函数是自对偶的。
结论
勒让德变换的对偶性来自两个互为反函数的映射:
p=f′(x)⟷x=(f∗)′(p)
并且在最优点处满足:
f(x)+f∗(p)=xp
这完美诠释了“从不同角度定义同一个问题”的思想:
原函数与它的勒让德变换是同一几何对象(凸函数的图像)在点坐标与切线坐标下的两种等价描述。