正态分布的完整推导-从概率密度到高斯积分

正态分布的完整推导：从平均密度到高斯积分

概要

本推导保留完整的数学过程，同时补充一个贯穿始终的直观概念：平均密度。理解正态分布时，不必一开始就面对复杂公式。可以先从重复测量、统计区间次数开始，理解概率密度为什么可以看成”单位长度上的概率集中程度”，再逐步推导出正态分布的公式。

整个推导分成六个阶段：

1. 从重复测量与平均密度理解概率密度。
2. 通过独立性与旋转对称性，推导高斯函数的形状。
3. 利用高斯积分，确定归一化系数。
4. 计算方差，确定参数 $k$ 的意义。
5. 得到标准正态分布和一般正态分布。
6. 总结整条推导链，以及各个公式的作用。

推导的边界

这是一条在特定假设下推导正态分布的数学路径，并不是说所有随机变量都会服从正态分布。

---

一、从重复测量理解概率密度：平均密度是什么？

1. 先统计每个区间出现了多少次

假设我们反复测量某个物理量，例如一根零件的长度，得到大量测量结果。

把所有结果按照数值大小分成一个个区间，然后统计每个区间里出现了多少次，就能画出频数直方图。

来源：stats4stem.org

假设测量结果大多集中在 10 附近，那么 10 附近的区间柱子就比较高，而离 10 较远的区间柱子比较低。

柱子的高度反映了这个区间中样本出现得多不多。但这里有一个容易忽略的问题：

区间宽度不同，直接比较次数并不公平

如果两个区间的宽度不同，直接比较区间内的次数，并不能准确比较数据的集中程度。

2. 为什么要引入平均密度？

假设我们测量了 1000 次，得到下面两种统计结果。

区间	区间宽度	区间内样本数	样本比例
A	1	100	10%
B	0.1	50	5%

乍一看，A 区间里有 100 个样本，B 区间里只有 50 个，所以 A 区间的样本更多。

但 A 的宽度是 1，B 的宽度只有 0.1。B 虽然样本总数较少，却在更短的范围内聚集了更多数据。

为了公平比较，我们可以计算：

$$\text{平均密度}=\frac{\text{区间内的样本比例}}{\text{区间宽度}}$$

于是：

$$\text{A 的平均密度}=\frac{0.10}{1}=0.10$$ $$\text{B 的平均密度}=\frac{0.05}{0.1}=0.50$$

B 的平均密度是 A 的 5 倍。

这说明，平均密度衡量的不是整个区间内有多少样本，而是每单位长度上集中了多少概率。

为什么用样本比例而不是样本总数

使用样本比例，即使测量总次数不同，也可以比较不同区间的集中程度。

3. 平均密度与概率有什么关系？

把刚才的关系反过来，就得到：

$$\boxed{\text{区间概率}=\text{平均密度}\times \text{区间宽度}}$$

例如，某个区间宽度为 0.1，平均密度为 0.5，那么这个区间的概率就是：

$$P=0.5\times 0.1=0.05$$

也就是 5%。

“平均密度”的确切含义

这里的”平均密度”指的是该区间内的平均概率密度。它不是任意一点的密度值，而是整个区间上的平均值。

4. 从平均密度过渡到概率密度曲线

当区间足够窄时，如果密度曲线在这个区间内变化不大，那么区间概率就可以近似写成：

$$P(x\le X\le x+\Delta x)\approx f(x)\Delta x$$

因此：

$$f(x)\approx \frac{P(x\le X\le x+\Delta x)}{\Delta x}$$

当区间宽度不断缩小时，在适当的连续性条件下，就得到概率密度：

$$\boxed{f(x)=\underset{\Delta x\to 0^{+}}{\lim }\frac{P(x\le X\le x+\Delta x)}{\Delta x}}$$

所以，概率密度可以理解为平均密度在区间无限缩小时的极限。

从直方图的角度看：

• 区间宽度较大时，计算得到的是一个区间的平均密度。
• 区间越来越小时，柱子的高度可以逐渐近似该位置的概率密度。
• 当用连续曲线描述时，曲线的高度表示单位长度上的概率集中程度。

对于连续随机变量 $X$，区间 $[a,b]$ 内的概率由密度曲线下的面积给出：

$$P(a\le X\le b)={\int }_a^{b}f(x)dx$$

全部可能结果的概率总和为 1，所以：

$$\boxed{{\int }_{-\infty }^{+\infty }f(x)dx=1}$$

用平均密度理解总面积为 1

把整个数轴分成许多区间，每个区间的概率约等于平均密度乘以区间宽度，所有区间的概率加起来就是 1。

到这里，我们理解了概率密度是什么。接下来要回答：为什么某些分布的密度曲线会呈现钟形，以及它的公式是如何推导出来的？

---

二、推导高斯函数的形状

1. 先从两个随机变量开始

考虑两个随机变量 $X$ 和 $Y$，它们相互独立，并且具有相同的连续概率密度 $f$。

独立意味着：一个变量取某个范围，不会改变另一个变量取某个范围的概率。

因此，联合概率密度可以写成：

$$f_{X,Y}(x,y)=f(x)f(y)$$

这一步来自独立性。

2. 再增加一个重要假设：旋转对称

现在假设二维随机变量的联合密度具有旋转对称性。

也就是说，平面上两个点只要到原点的距离相同，它们的联合密度就相同。

例如，$(3,4)$ 和 $(0,5)$ 到原点的距离都是 5，因此密度相同。

因为距离的平方为 $x^2+y^2$，联合密度就只能依赖这个量：

$$f_{X,Y}(x,y)=g(x^2+y^2)$$

结合独立性，可以得到：

$$\boxed{f(x)f(y)=g(x^2+y^2)}$$

独立性推不出旋转对称性

独立性本身不能推出旋转对称性。我们是额外假设了旋转对称，才能继续推导。

3. 为什么这个关系会导出平方指数？

假设相关函数可微，且密度在讨论的范围内为正。对等式两边取对数：

$$\ln f(x)+\ln f(y)=\ln g(x^2+y^2)$$

对 $x$ 求导：

$$\frac{f^{\prime }(x)}{f(x)}=2x\frac{g^{\prime }(x^2+y^2)}{g(x^2+y^2)}$$

当 $x\ne 0$ 时，两边除以 $x$：

$$\frac{f^{\prime }(x)}{xf(x)}=2\frac{g^{\prime }(x^2+y^2)}{g(x^2+y^2)}$$

观察这个等式：

• 左边只依赖 $x$；
• 右边依赖 $x^2+y^2$。

但等式必须对所有合适的 $x,y$ 都成立。因此，改变 $y$ 时，右边不能任意改变，否则左边无法保持相等。由此可知，两边必须等于某个常数。

将这个常数记为 $-k$，得到：

$$\frac{f^{\prime }(x)}{xf(x)}=-k$$

即：

$$\boxed{f^{\prime }(x)=-kxf(x)}$$

为什么取 $k>0$

$k>0$ 对应以零为中心、向两侧衰减的可归一化密度。若 $k\le 0$，密度无法在整个数轴上积分到 1。

4. 解这个微分方程

两边除以 $f(x)$：

$$\frac{f^{\prime }(x)}{f(x)}=-kx$$

左边可以理解为 $\ln f(x)$ 的导数。两边积分：

$$\int \frac{f^{\prime }(x)}{f(x)}dx=\int -kxdx$$

因此：

$$\ln f(x)=-\frac{k{x}^2}{2}+C$$

两边取指数：

$$f(x)=e^C{e}^{-k{x}^2/2}$$

将常数 $e^C$ 简记为 $A$，最终得到：

$$\boxed{f(x)=A{e}^{-k{x}^2/2}}$$

这就是高斯函数的形状。

从平均密度的角度看这个函数

这个函数描述了不同位置的单位长度概率集中程度：在 $x=0$ 附近，密度较高；离中心越远，密度越低。

到此为止只确定了”形状”

此时我们还没有求出 $A$，也还没有计算方差。现在只知道密度具有这个函数形式。

---

三、利用高斯积分确定系数 $A$

既然 $f(x)$ 是概率密度，它在整个数轴上的积分就必须等于 1。

代入刚才的表达式：

$${\int }_{-\infty }^{+\infty }A{e}^{-k{x}^2/2}dx=1$$

由于 $A$ 与积分变量 $x$ 无关，可以提到积分号外：

$$A{\int }_{-\infty }^{+\infty }{e}^{-k{x}^2/2}dx=1$$

因此，我们需要计算这个积分：

$${\int }_{-\infty }^{+\infty }{e}^{-k{x}^2/2}dx$$

它就是高斯积分的一种形式。

1. 为什么高斯积分值得单独介绍？

原函数不是初等函数

$e^{-x^2/2}$ 的原函数无法用常见的初等函数表达。直接对 $x$ 积分，并不能像多项式积分那样得到一个熟悉的原函数。

经典方法是：先计算一个特殊情况，再通过变量替换推广到一般情况。

先定义：

$$I={\int }_{-\infty }^{+\infty }{e}^{-x^2/2}dx$$

2. 将一维积分的平方变成二维积分

将 $I$ 自己乘以自己：

$$I^2=\left({\int }_{-\infty }^{+\infty }{e}^{-x^2/2}dx\right)\left({\int }_{-\infty }^{+\infty }{e}^{-y^2/2}dy\right)$$

两个独立积分相乘，可以写成二维积分：

$$I^2={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{e}^{-(x^2+y^2)/2}dxdy$$

这里出现了 $x^2+y^2$，也就是点到原点的距离平方。

这正是使用极坐标的机会。

3. 转换为极坐标

令：

$$x=r\cos \theta ,y=r\sin \theta$$

于是：

$$x^2+y^2=r^2$$

二维面积微元需要乘上雅可比因子 $r$：

$$dxdy=rdrd\theta$$

整个平面对应的范围为 $r\in [0,\infty )$、$\theta \in [0,2\pi ]$，因此：

$$I^2={\int }_0^{2\pi }{\int }_0^{\infty }{e}^{-r^2/2}rdrd\theta$$

现在这个积分可以分成两个简单的部分。

先计算半径方向的积分。令：

$$u=\frac{r^2}{2},du=rdr$$

则：

$${\int }_0^{\infty }{e}^{-r^2/2}rdr={\int }_0^{\infty }{e}^{-u}du=1$$

角度方向则是：

$${\int }_0^{2\pi }d\theta =2\pi$$

所以：

$$I^2=2\pi$$

由于 $I$ 是正数：

$$\boxed{I=\sqrt{2\pi }}$$

这就是经典高斯积分的结果。

4. 推广到参数 $k$

现在回到：

$${\int }_{-\infty }^{+\infty }{e}^{-k{x}^2/2}dx$$

令 $u=\sqrt{k}x$，那么 $dx=du/\sqrt{k}$。于是：

$$\begin{array}{rl}{\int }_{-\infty }^{+\infty }{e}^{-k{x}^2/2}dx& =\frac{1}{\sqrt{k}}{\int }_{-\infty }^{+\infty }{e}^{-u^2/2}du\\ & =\sqrt{\frac{2\pi }{k}}\end{array}$$

代回归一化条件：

$$A\sqrt{\frac{2\pi }{k}}=1$$

最终得到：

$$\boxed{A=\sqrt{\frac{k}{2\pi }}}$$

所以目前的概率密度函数是：

$$\boxed{f(x)=\sqrt{\frac{k}{2\pi }}{e}^{-k{x}^2/2}}$$

从平均密度的角度看系数 $A$

这一步是在调整整条曲线的高度：曲线形状由 $k$ 决定，而 $A$ 负责保证整条曲线下面的总面积恰好为 1。

如果没有这个系数，曲线下面的面积可能大于 1，也可能小于 1，就不能作为合法的概率密度。

参数 $k$ 仍是未解释的

我们还没有计算它的方差。参数 $k$ 此时仍然是一个待解释的参数。

---

四、计算方差，确定参数 $k$ 的意义

本节容易被跳过，但非常重要

我们不能在计算方差之前，就直接把它写成 ${\sigma }^2$。正确顺序是先根据方差的定义进行计算，再决定如何表示这个参数。

1. 先求均值

刚才得到的密度函数是：

$$f(x)=\sqrt{\frac{k}{2\pi }}{e}^{-k{x}^2/2}$$

由于它关于 $x=0$ 对称，正负两侧的贡献相互抵消，因此：

$$\boxed{E[X]=0}$$

2. 写出方差的定义

方差衡量随机变量围绕均值的平方偏离程度：

$$\mathrm{Var}(X)=E[(X-E[X]{)}^2]$$

由于均值为 0：

$$\mathrm{Var}(X)=E[X^2]$$

对于连续随机变量，期望可以用概率密度积分计算，因此：

$$\boxed{\mathrm{Var}(X)={\int }_{-\infty }^{+\infty }{x}^{2}f(x)dx}$$

用平均密度理解这个积分

每个很窄区间内的概率，约等于该区间的平均密度乘以宽度；再用这个概率乘以 $x^2$，把所有区间的贡献累加，就得到了 $E[X^2]$。积分正是这个连续累加过程的数学表达。

代入密度函数：

$$\mathrm{Var}(X)=A{\int }_{-\infty }^{+\infty }{x}^2{e}^{-k{x}^2/2}dx$$

其中 $A=\sqrt{k/(2\pi )}$。

现在还需要计算一个带 $x^2$ 的积分。

3. 用对参数求导的办法计算这个积分

不必重新使用极坐标。我们可以利用刚才已经求出的高斯积分。

定义：

$$F(k)={\int }_{-\infty }^{+\infty }{e}^{-k{x}^2/2}dx$$

上一节已经得到：

$$F(k)=\sqrt{\frac{2\pi }{k}}$$

对 $k$ 求导。由于被积函数对 $k$ 的导数为：

$$\frac{\partial }{\partial k}{e}^{-k{x}^2/2}=-\frac{x^2}{2}{e}^{-k{x}^2/2}$$

在满足相应的积分与求导交换条件时，可以将求导移入积分号：

$$F^{\prime }(k)=-\frac{1}{2}{\int }_{-\infty }^{+\infty }{x}^2{e}^{-k{x}^2/2}dx$$

另一方面，对 $F(k)=\sqrt{2\pi /k}$ 直接求导：

$$F^{\prime }(k)=-\frac{1}{2}\sqrt{2\pi }{k}^{-3/2}$$

两边相等：

$$-\frac{1}{2}{\int }_{-\infty }^{+\infty }{x}^2{e}^{-k{x}^2/2}dx=-\frac{1}{2}\sqrt{2\pi }{k}^{-3/2}$$

消去两边的 $-1/2$，得到：

$$\boxed{{\int }_{-\infty }^{+\infty }{x}^2{e}^{-k{x}^2/2}dx=\frac{1}{k}\sqrt{\frac{2\pi }{k}}}$$

4. 代回方差公式

我们现在已经有了所需的全部结果：

$$\mathrm{Var}(X)=A\frac{1}{k}\sqrt{\frac{2\pi }{k}}$$

并且：

$$A=\sqrt{\frac{k}{2\pi }}$$

所以：

$$\begin{array}{rl}\mathrm{Var}(X)& =\sqrt{\frac{k}{2\pi }}\frac{1}{k}\sqrt{\frac{2\pi }{k}}\\ & =\frac{1}{k}\end{array}$$

因此：

$$\boxed{\mathrm{Var}(X)=\frac{1}{k}}$$

这是从积分中算出来的，不是提前假定的

方差 $1/k$ 是我们从积分中计算出来的结果，而不是提前假定的。

从平均密度的角度看，$k$ 越大，远离中心的密度下降得越快，数据越集中，方差就越小；$k$ 越小，密度下降得越慢，数据越分散，方差就越大。这与方差公式 $1/k$ 完全一致。

---

五、引入标准差，得到正态分布公式

现在我们已经知道：

• 均值为 $0$；
• 方差为 $1/k$；
• 密度的总面积为 $1$。

为了让参数更直观，我们把方差记作 ${\sigma }^2$：

$${\sigma }^2=\mathrm{Var}(X)=\frac{1}{k}$$

于是：

$$k=\frac{1}{{\sigma }^2}$$

把这个结果代回密度函数：

$$f(x)=\sqrt{\frac{k}{2\pi }}{e}^{-k{x}^2/2}$$

就得到：

$$\boxed{f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{x^2}{2{\sigma }^2}}}$$

这就是均值为 0、标准差为 $\sigma$ 的正态分布的概率密度函数。

这里的两个参数含义明确：

• ${\sigma }^2$ 是方差，表示数据围绕均值的平方偏离程度。
• $\sigma$ 是标准差，表示数据分布的典型尺度。标准差越大，曲线越宽；标准差越小，曲线越窄。

标准差较小：数据更集中在均值附近，密度曲线更窄、更高。对于同样宽度的小区间，中心附近的区间通常包含更高的概率。

标准差较大：数据分布更分散，密度曲线更宽、更低，但总面积仍然为 1。

从零均值推广到一般均值

前面的推导以 $0$ 为中心。如果分布的中心在 $\mu$，可以将原变量整体平移。

令：

$$Z=X-\mu$$

那么 $Z$ 的均值为 0，而 $X$ 的密度只需要把原公式中的 $x$ 替换成 $x-\mu$。

于是得到一般正态分布：

$$\boxed{f(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)}$$

这就是通常写作 $X\sim \mathcal{N}(\mu ,{\sigma }^2)$ 的分布。

其中：

$$E[X]=\mu ,\mathrm{Var}(X)={\sigma }^2$$

如果令 $\mu =0$、$\sigma =1$，就得到标准正态分布：

$$\boxed{f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}}$$

---

六、整个推导的逻辑链

推导链

重复测量与频数直方图

统计各区间的次数，观察样本如何分布。

平均密度与概率密度

$$\text{区间概率}=\text{平均密度}\times \text{区间宽度}$$

区间缩小时，平均密度在适当条件下趋近于概率密度。

独立性 + 额外的旋转对称假设

$$f(x)f(y)=g(x^2+y^2)$$

求导并解微分方程

$$f(x)=A{e}^{-k{x}^2/2}$$

高斯积分：确定总面积为 1

$$A=\sqrt{\frac{k}{2\pi }}$$

根据方差定义计算

$$\mathrm{Var}(X)=\frac{1}{k}$$

引入标准差，得到正态分布

$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

---

最后，把几个概念的关系放在一起：

概念	直观含义	数学作用
区间频率	样本落入区间的比例	从数据估计概率
平均密度	单位长度上的平均概率集中程度	用密度乘区间宽度近似概率
概率密度 $f(x)$	某个位置附近单位长度上的概率集中程度	对密度积分得到区间概率
高斯积分	计算平方指数函数的总面积	确定正态密度的系数
方差	数据相对均值的平方偏离程度	确定分布的宽窄参数
标准差 $\sigma$	分布的典型尺度	直接控制正态曲线的宽窄

这条推导的核心

先通过平均密度理解概率密度，再推导函数的形状；随后通过高斯积分保证总概率为 1，最后通过方差确定曲线的宽窄。这样，每个常数的来源都清楚了。

---

相关笔记

• 从概率密度到最小二乘-完整推导