从概率密度到最小二乘：完整推导

概要

本笔记把概率密度、高斯分布、似然、最大似然估计，以及线性回归为什么会得到最小二乘法整合成一份完整的推导。

核心澄清：如果假设误差 $e_i$ 服从均值为 0 的正态分布，那么描述误差的概率密度函数时，均值 $\mu$ 就应该是 0；只有在描述观测值 $y_i$ 的分布时，均值才是 $w{x}_i+b$。

---

一、从概率密度开始

1. 连续变量为什么需要概率密度？

假设随机变量 $X$ 表示某个连续数值，例如测量得到的长度。

对于连续随机变量，单个精确数值的概率通常为 0：

$$P(X=2)=0$$

但这不意味着 $X$ 不可能取到 2，而是因为连续数值有无限多个可能取值，单个点没有宽度。

因此，我们使用概率密度函数 $f(x)$ 描述概率在数轴上的分布情况。

某个区间的概率由积分得到：

$$P(a\le X\le b)={\int }_a^{b}f(x)dx$$

当区间足够小时，可以近似理解为：

$$P(x\le X\le x+\Delta x)\approx f(x)\Delta x$$

所以：

• $f(x)$ 是数值 $x$ 附近的概率密集程度。
• 区间宽度乘以密度，近似得到该区间的概率。
• 整条数轴下的面积必须为 1：

$${\int }_{-\infty }^{+\infty }f(x)dx=1$$

密度不是概率本身

密度不是概率本身，因此密度值可以大于 1。密度衡量的是”密集程度”，乘上区间宽度才回到概率。

2. 概率密度与分布函数

分布函数表示随机变量不超过某个值的概率：

$$F(x)=P(X\le x)={\int }_{-\infty }^{x}f(t)dt$$

如果 $F(x)$ 可微，则：

$$f(x)=F^{\prime }(x)$$

可以把两者理解为：

• 分布函数 $F(x)$：从负无穷到 $x$ 累积了多少概率。
• 概率密度 $f(x)$：累积概率在 $x$ 附近增长得有多快。

---

二、为什么会出现高斯分布？

1. 高斯分布描述什么？

高斯分布，也称正态分布，常用来描述围绕某个均值上下波动的随机量。

它的概率密度为：

$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

其中：

• $\mu$：均值，决定分布的中心。
• $\sigma$：标准差，决定分布的宽窄。
• ${\sigma }^2$：方差。
• 指数中的平方项，使得偏离均值越远，密度通常越低。

例如，若误差服从均值为 0 的正态分布：

$$e\sim \mathcal{N}(0,{\sigma }^2)$$

那么它的密度就是：

$$f(e)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{e^2}{2{\sigma }^2}\right)$$

这里的中心为什么是 0？

因为我们描述的随机变量就是误差 $e$，而误差的均值假设为 0。密度公式里的 $\mu$ 必须跟着”你描述的是谁”走。

2. 一个重要的推导区别

从独立性可以得到两个独立随机变量的联合密度满足：

$$f_{X,Y}(x,y)=f_X(x)f_Y(y)$$

但独立性本身并不能推出高斯分布。

推导的边界

只有进一步假设联合分布具有旋转对称性（联合密度只依赖于 $x^2+y^2$），再结合可微性、归一化等条件，才能推导出高斯形式。

这是一种带有额外假设的推导，而不是说任何独立随机变量都必然服从正态分布。

---

三、从概率到似然：观察局面后比较参数

1. 概率和似然的区别

沿用”局面”这个说法，可以这样理解：

• 概率：参数已经确定，计算某个局面出现的可能性。
• 似然：局面已经观察到，比较不同参数数值对这个局面的解释程度。

两者可能使用相同的数学表达式，但观察角度不同。

2. 用抛硬币理解似然

假设抛一枚硬币 10 次，观察到 8 次正面、2 次反面。

令 $p$ 表示正面概率。观察到这个局面的概率为：

$$L(p)=\left(\genfrac{}{}{0ex}{}{10}{8}\right)p^8(1-p{)}^2$$

这里把它看作参数 $p$ 的函数，就是似然函数。

例如：

$$L(0.5)=\left(\genfrac{}{}{0ex}{}{10}{8}\right)(0.5{)}^{10}\approx 0.044$$ $$L(0.8)=\left(\genfrac{}{}{0ex}{}{10}{8}\right)(0.8{)}^8(0.2{)}^2\approx 0.302$$

在这组观察结果下，$p=0.8$ 对应的似然更高。

似然不是”参数正确的概率”

$0.302$ 不是参数 $p=0.8$ 正确的概率，而是该参数下观察到这个局面的概率。

3. 最大似然估计

最大似然估计的目标是寻找使当前局面的似然最大的参数：

$$\hat{p}=\arg \underset{p}{\max }L(p)$$

对于这个例子，最大似然估计结果为：

$$\hat{p}=\frac{8}{10}=0.8$$

这就把问题从”参数给定时局面有多可能”，转化成了”哪个参数最能解释已观察到的局面”。

---

四、线性回归：把误差引入模型

现在将似然的概念应用到线性回归。

假设我们有一组观测数据：

$$(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$$

希望用一条直线描述 $x$ 和 $y$ 之间的关系：

$$y=wx+b$$

其中：

• $w$：直线斜率。
• $b$：直线截距。
• $x_i,y_i$：已经观测到的数据。

但现实中的数据通常不会全部精确落在一条直线上，因此我们引入误差项：

$$\boxed{y_i=w{x}_i+b+e_i}$$

其中 $e_i$ 表示第 $i$ 个样本的误差。

移项可得：

$$\boxed{e_i=y_i-w{x}_i-b}$$

这意味着，误差就是实际观测值与模型预测值之间的差。

例如，模型预测某个样本的 $y$ 为 7，实际观测到的 $y$ 为 9，那么：

$$e_i=9-7=2$$

误差为正，说明实际值高于预测值。

1. 为什么要假设误差服从正态分布？

为了建立一个可以计算的统计模型，我们作出以下假设：

$$\boxed{e_i\sim \mathcal{N}(0,{\sigma }^2)}$$

也就是说，误差服从均值为 0、方差为 ${\sigma }^2$ 的正态分布。

这包含三个意思：

1. 误差围绕 0 波动，不存在系统性的正向或负向偏差。
2. 误差的波动程度由 ${\sigma }^2$ 描述。
3. 较大的误差通常比接近 0 的误差更不常见。

假设 ≠ 事实

误差均值为 0 是模型假设，不代表每个样本的误差都等于 0。

---

五、关键区别：误差的概率密度与观测值的概率密度

本节是整个推导的关键台阶

这是整个推导中非常重要的一步，也是最容易出错的地方：描述误差时均值为 0，描述观测值时均值为 $w{x}_i+b$。

1. 如果描述的是误差 $e_i$

已知：

$$e_i\sim \mathcal{N}(0,{\sigma }^2)$$

一般正态分布的密度公式是：

$$f(z)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(z-\mu {)}^2}{2{\sigma }^2}\right)$$

现在随机变量是 $e_i$，它的均值是 0，因此必须令 $\mu =0$。

得到：

$$\boxed{f(e_i)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{e_i^2}{2{\sigma }^2}\right)}$$

如果这里的随机变量是误差 $e_i$，那么密度函数中的均值 $\mu$ 就是 0。

2. 如果描述的是观测值 $y_i$

我们再看模型：

$$y_i=w{x}_i+b+e_i$$

将误差项移到左边：

$$e_i=y_i-w{x}_i-b$$

因为 $e_i$ 的均值为 0，所以：

$$E[e_i]=0$$

对模型两边取期望。给定 $x_i,w,b$ 后，它们都是固定值，因此：

$$E[y_i]=w{x}_i+b+E[e_i]$$

于是：

$$\boxed{E[y_i]=w{x}_i+b}$$

这说明，当我们描述的是观测值 $y_i$ 的条件分布时，它的均值就不是 0，而是模型的预测值 $w{x}_i+b$。

因此：

$$y_i\mid x_i,w,b\sim \mathcal{N}(w{x}_i+b,{\sigma }^2)$$

相应的条件概率密度为：

$$\boxed{f(y_i\mid x_i;w,b)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(y_i-w{x}_i-b{)}^2}{2{\sigma }^2}\right)}$$

3. 为什么两个公式完全等价？

视角 A：描述误差

$$e_i\sim \mathcal{N}(0,{\sigma }^2)$$ $$f(e_i)\propto \exp \left(-\frac{e_i^2}{2{\sigma }^2}\right)$$

视角 B：描述观测值

$$y_i\mid x_i,w,b\sim \mathcal{N}(w{x}_i+b,{\sigma }^2)$$ $$f(y_i\mid x_i;w,b)\propto \exp \left(-\frac{(y_i-w{x}_i-b{)}^2}{2{\sigma }^2}\right)$$

连接两者的关键等式

$$e_i=y_i-w{x}_i-b$$ $$e_i^2=(y_i-w{x}_i-b{)}^2$$

两个公式表达的是同一件事，只是描述的随机变量不同。

• 描述误差时，均值为 0。
• 描述观测值时，均值为预测值 $w{x}_i+b$。
• 把 $e_i=y_i-w{x}_i-b$ 代入误差密度，就得到观测值的条件密度。

最常见的错误

不能因为误差均值为 0，就认为观测值 $y_i$ 的均值也为 0。两者相差一个模型预测值。

---

六、从概率密度推导似然函数

现在进入核心：为什么最大似然估计最终会变成最小二乘法？

我们已经有了单个样本的条件概率密度：

$$f(y_i\mid x_i;w,b)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(y_i-w{x}_i-b{)}^2}{2{\sigma }^2}\right)$$

这里的 $x_i,y_i$ 都是已观察到的数据，而 $w,b$ 是我们想要确定的参数。

因此，我们可以把这个密度看作参数 $w,b$ 的函数。

1. 从一个样本扩展到多个样本

假设给定所有输入 $x_i$ 后，各样本的误差相互独立。

那么所有观测值同时出现的联合密度，等于各个样本条件密度的乘积：

$$L(w,b)=\prod _{i=1}^{n}f(y_i\mid x_i;w,b)$$

这就是似然函数。

将单个样本的密度代入：

$$L(w,b)=\prod _{i=1}^n\left[\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(y_i-w{x}_i-b{)}^2}{2{\sigma }^2}\right)\right]$$

将常数项和指数项整理：

$$L(w,b)={\left(\frac{1}{\sigma \sqrt{2\pi }}\right)}^n\exp \left(-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-w{x}_i-b{)}^2\right)$$

观察这个式子：参数 $w,b$ 影响似然的部分，包含了误差平方和。

2. 为什么要取对数？

直接最大化多个很小的密度值的乘积，计算上不方便。

因此，对似然函数取自然对数：

$$\ell (w,b)=\log L(w,b)$$

利用对数性质：

$$\log (ab)=\log a+\log b$$

以及：

$$\log (e^z)=z$$

得到：

$$\boxed{\ell (w,b)=-n\log (\sigma \sqrt{2\pi })-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-w{x}_i-b{)}^2}$$

取对数不会改变使似然最大的参数，因为对数函数严格单调递增：

$$\arg \underset{w,b}{\max }L(w,b)=\arg \underset{w,b}{\max }\log L(w,b)$$

所以最大化似然和最大化对数似然是等价的。

3. 为什么最大化对数似然会变成最小化误差平方和？

假设 $\sigma$ 固定，那么：

$$-n\log (\sigma \sqrt{2\pi })$$

是一个与 $w,b$ 无关的常数。

因此，最大化对数似然等价于最大化：

$$-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-w{x}_i-b{)}^2$$

其中：

$$\frac{1}{2{\sigma }^2}>0$$

前面带有负号，所以误差平方和越小，对数似然越大。

最终得到：

$$\boxed{\underset{w,b}{\min }\sum _{i=1}^n(y_i-w{x}_i-b{)}^2}$$

这就是线性回归中的最小二乘法。

---

七、把整个逻辑串起来

五步推导链

第一步：建立线性模型

$$y_i=w{x}_i+b+e_i$$

第二步：假设误差服从高斯分布

$$e_i\sim \mathcal{N}(0,{\sigma }^2)$$

第三步：得到观测值的条件密度

$$y_i\mid x_i,w,b\sim \mathcal{N}(w{x}_i+b,{\sigma }^2)$$

第四步：假设样本条件独立，构造似然

$$L(w,b)=\prod _{i}f(y_i\mid x_i;w,b)$$

第五步：取对数，化简目标

$$\ell (w,b)=C-\frac{1}{2{\sigma }^2}\sum _i{e}_i^2$$

最终：最大似然等价于最小二乘

$$\underset{w,b}{\min }\sum _i(y_i-w{x}_i-b{)}^2$$

等价的前提与最关键的理解

这里的等价关系依赖于前面的假设：误差服从均值为 0、方差固定的高斯分布，各样本条件独立。若误差分布改变，最大似然对应的优化目标也可能改变。

最关键的理解是：最小二乘法不是凭空规定要把误差平方后相加。在高斯误差和样本独立等假设下，它恰好就是最大似然估计所导出的优化目标。