04常见分布

Lingfeng2025-09-06

04常见分布

1. 离散分布

1.1 伯努利分布

设 $p$ 为一次试验成功的概率，记

X\sim \mathrm{Bernoulli}(p)

概率分布为

P\{ X=k \}=p^{k}(1-p)^{1-k},\quad k \in \{ 0,1 \}

期望为

E(X)=1\times p+0\times(1-p)=p

方差为

Var(X)=E(X^{2})-E^{2}(X)=p-p^{2}=p(1-p)

特征函数为

f(t)=pe^{it}+q

Example (两端带有吸收壁的随机游动)

假定质点在时刻 $t=0$ 时，位于 $x=i$ ，而在 $x=0$ ， $x=n$ 处各有一个吸收壁，求质点在 $x=0$ 或在 $x=n$ 被吸收的概率。

设 $a_{i}$ 表示质点在初始位置为 $i$ ，最终被 $n$ 吸收的概率，显然

a_{0}=0,\quad a_{n}=1

当

1\leq i\leq n-1

时，有

a_{i}=pa_{i+1}+qa_{i-1}

下面考虑求解该方程即可。

注意到

a_{i+1}-a_{i}=\frac{q}{p}(a_{i}-a_{i-1})

因此

a_{i+1}-a_{i}=\left( \frac{q}{p} \right)^{i}(a_{1}-a_{0})=\left( \frac{q}{p} \right)^{i}a_{1}

此时若 $p=q=\frac{1}{2}$ ，则

a_{i}=ia_{1}

从而

a_{1}=\frac{1}{n}

因此

a_{i}=\frac{i}{n}

否则设

r=\frac{q}{p}

，此时

\begin{align*} a_{i} & = \sum_{k = 1}^{i}(a_{i}-a_{i-1})+a_{0} \\ & = \frac{ r^{i}- 1 }{r-1}a_{1} \end{align*}

因此

a_{1}= \frac{r-1}{r^{n}-1}

从而

a_{i}=\frac{r^{i}-1}{r^{n}-1}

1.2 二项分布

设 $n$ 次独立重复的伯努利饰演，成功的概率为 $p$ ，记

X\sim B(n,p)

概率分布为

P\{ X=k \}=\binom{n}{k}p^{k}(1-p)^{n-k}

考虑转化为

n

次伯努利试验的和，容易得到期望为

E(X)=np

方差为

Var(X)=np(1-p)

特征函数为

f(t)=(pe^{it}+q)^{n}

具有再生性

X\sim B(n,p),Y\sim B(m,p)\implies X+Y\sim B(n+m,p)

1.3 多项分布

设 $n$ 次独立重复试验中，有 $k$ 中互斥的结果，概率分别为 $p_{1},p_{2},\dots,p_{k}$ ，且 $\sum_{i = 1}^{k}p_{i}=1$ ，则

(X_{1},X_{2},\dots,X_{k})\sim \mathrm{Mult}(n,p_{1},p_{2},\dots,p_{k})

概率分布为

P\{ X_{1}=x_{1},X_{2}=x_{2},\dots,X_{k}=x_{k} \}=\binom{n}{x_{1},x_{2},\dots,x_{k}}p_{1}^{x_{1}}p_{2}^{x_{2}}\dots p_{k}^{x_{k}}

单个类别满足二项分布，不同类别间的协方差为

Cov(X_{i},X_{j})=-np_{i}p_{j}

这是因为

X_{i}+X_{j}\sim B(n,p_{i}+p_{j})

因此

Var(X_{i}+X_{j})=n(p_{i}+p_{j})(1-p_{i}-p_{j})

而

\begin{align*} Var(X_{i}+X_{j}) & =Var(X_{i})+Var(X_{j})+2Cov(X_{i},X_{j}) \\ & = np_{i}(1-p_{i})+np_{j}(1-p_{j})+2Cov(X_{i},X_{j}) \end{align*}

从而

Cov(X_{i},X_{j})=-np_{i}p_{j}

1.4 几何分布

在成功概率为 $p$ 的伯努利试验中，设 $X$ 为首次成功的次数，则

X\sim \mathrm{Geom}(p)

概率分布为

P\{ X=k \}=q^{k-1}p

期望为

\begin{align*} E(X) & =\sum_{k = 1}^{\infty} kq^{k-1}p \\ & = p \sum_{k = 0}^{\infty} \frac{d}{dq}q^{k} \\ & = p\frac{d}{dq} \sum_{k = 0}^{\infty}\frac{1}{1-q} \\ & = \frac{p}{(1-q)^{2}} \\ & =\frac{1}{p} \end{align*}

而

\begin{align*} E(X^{2}) & =\sum_{k = 1}^{\infty} k^{2}q^{k-1}p \\ & = p\left( q\sum_{k = 1}^{\infty} k(k-1)q^{k-2} + \sum_{k = 1}^{\infty} kq^{k-1}\right) \\ & = p\left( \frac{2q}{(1-q)^{3}}+ \frac{1}{(1-q)^{2}} \right) \\ & = \frac{p(1+q)}{(1-q)^{3}}=\frac{1+q}{p^{2}} \end{align*}

因此

\begin{align*} Var(X) & =E(X^{2})-E^{2}(X) \\ & = \frac{1+q}{p^{2}}-\frac{1}{p^{2}} \\ & = \frac{q}{p^{2}} \end{align*}

特征函数为

\begin{align*} f(t) & =\sum_{k = 1}^{\infty} e^{itk}q^{k-1}p \\ & =\frac{p}{q} \sum_{k = 1}^{\infty} (qe^{it})^{k} \\ & = \frac{pe^{it}}{1- qe^{it}} = p\left( e^{-it}-q \right)^{-1} \end{align*}

1.5 泊松分布

在独立试验中， $p_{n}$ 表示事件发生的概率，与试验总数 $n$ 有关，若 $np_{n}\to\lambda$ ，则当 $n\to \infty$ 时，有

X\sim \mathrm{Poisson}(\lambda)

概率分布为

P\{ X=k \}=\frac{\lambda^{k}}{k!}e^{-\lambda}

这是因为

\begin{align*} P\{ X=k \} & =\binom{n}{k}p_{n}^{k}(1-p_{n})^{n-k} \\ & = \frac{n(n-1)\dots (n-k+1)}{k!}\left( \frac{\lambda_{n}}{n} \right)^{k}\left( 1-\frac{\lambda_{n}}{k} \right)^{n-k} \\ & =\frac{\lambda_{n}^{k}}{k!}\left( 1-\frac{1}{n} \right)\left( 1-\frac{2}{n} \right)\dots\left( 1-\frac{k-1}{n} \right)\left( 1-\frac{\lambda_{n}}{k} \right)^{n-k} \\ & =\frac{\lambda^{k}}{k!}e^{-\lambda} \end{align*}

期望为

\begin{align*} E(X) & =\sum_{k = 1}^{\infty} k \frac{\lambda^{k}}{k!}e^{-\lambda} \\ & = \lambda e^{-\lambda} \sum_{k = 1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!} \\ & = \lambda e^{-\lambda}e^{\lambda}=\lambda \end{align*}

而

\begin{align*} E(X^{2}) & =\sum_{k = 1}^{\infty} k^{2 } \frac{\lambda^{k}}{k!}e^{-\lambda} \\ & = e^{-\lambda}\left( \sum_{k = 1}^{\infty} k(k-1) \frac{\lambda^{k}}{k!} +\sum_{k = 1}^{\infty} k \frac{\lambda^{k}}{k!} \right) \\ & = e^{-\lambda}(\lambda^{2}e^{\lambda}+\lambda e^{\lambda}) \\ & =\lambda^{2}+\lambda \end{align*}

因此方差为

Var(X)=E(X^{2})-E^{2}(X)=\lambda

特征函数为

\begin{align*} f(t) & =\sum_{k = 0}^{\infty} e^{itk} \frac{\lambda^{k}}{k!}e^{-\lambda} \\ & = e^{-\lambda} \sum_{k = 0}^{\infty} \frac{(\lambda e^{it})^{k}}{k!} \\ & = e^{-\lambda} e^{\lambda e^{it}}=e^{\lambda(e^{-it}-1)} \end{align*}

具有再生性

X\sim \mathrm{Poisson}(\lambda_{1}),Y\sim \mathrm{Poisson}(\lambda_{2})\implies X+Y\sim \mathrm{Poisson}(\lambda_{1}+\lambda_{2})

设 $\boldsymbol{X}=\begin{pmatrix} \boldsymbol{X}_{1} \\ \boldsymbol{X}_{2} \end{pmatrix}$ ， $\boldsymbol{\mu}=\begin{pmatrix} \boldsymbol{\mu} _{1} \\ \boldsymbol{\mu}_{2}\end{pmatrix}$ ， $\Sigma=\begin{pmatrix} \Sigma_{11}& \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}$ ，则

(\boldsymbol{X}_{1} \mid \boldsymbol{X}_{2}=\boldsymbol{x}_{2}) \sim N(\boldsymbol{\mu}_{1\mid 2},\Sigma_{1\mid 2})

其中

\begin{align*}\boldsymbol{\mu}_{1\mid 2} & =\boldsymbol{\mu}_{1}+ \Sigma_{12}\Sigma^{-1}_{22}(\boldsymbol{x}_{2}-\boldsymbol{\mu}_{2}) \\ \Sigma_{1 \mid 2} & =\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\end{align*}

Corollary (二元正态分布的条件分布)

设 $\boldsymbol{X}=\begin{pmatrix} X_{1} \\ X_{2} \end{pmatrix}$ ， $\boldsymbol{\mu}=\begin{pmatrix} \mu_{1} \\ \mu_{2}\end{pmatrix}$ ， $\Sigma=\begin{pmatrix} \sigma_{1}^{2}& \rho\sigma_{1}\sigma_{2} \\\rho\sigma_{1}\sigma_{2} & \sigma_{2}^{2}\end{pmatrix}$ ，则

(X_{1}\mid X_{2}=x_{2})\sim N\left( \mu_{1}+\rho\frac{\sigma_{1}}{\sigma_{2}}(x_{2}-\mu_{2}),\sigma_{1}^{2}(1-\rho^{2}) \right)

Theorem (独立性)

对于多元正态分布，分量间相互独立的充要条件是它们两两不相关（即协方差为0）。

2.4 指数分布

若随机变量 $X$ 服从参数为 $\lambda$ 的指数分布，记作

X\sim \exp(\lambda)

概率密度函数为

p(x)=\begin{cases} \lambda e^{-\lambda x }, & x\geq0 \\ 0, & x<0 \end{cases}

分布函数为

F(x)= \begin{cases} 0, & x< 0 \\ 1-e^{-\lambda x}, & x\geq 0 \end{cases}

期望为

\begin{align*} E(X) & =\int_{0}^{\infty} x\lambda e^{-\lambda x} \, dx \\ & = \frac{\Gamma(2)}{\lambda} \int_{0}^{\infty} \frac{\lambda^{2}}{\Gamma(2)} x^{2-1} e^{-\lambda x} \, dx \\ & =\frac{1}{\lambda} \end{align*}

而

\begin{align*} E(X^{2}) & =\int_{0}^{\infty} x^{2}\lambda e^{-\lambda x} \, dx \\ & = \frac{\Gamma(3)}{\lambda^{2}} \int_{0}^{\infty} \frac{\lambda^{3}}{\Gamma(3)} x^{3-1}e^{-\lambda x} \, dx \\ & = \frac{2}{\lambda^{2}} \end{align*}

因此方差为

Var(X)=E(X^{2})-E^{2}(X)=\frac{1}{\lambda^{2}}

特征函数为

\begin{align*} f(t) & =\int_{0}^{\infty} e^{itx}\lambda e^{-\lambda x} \, dx \\ & = \lambda \int_{0}^{\infty} e^{-(\lambda-it)x} \, dx \\ & = \frac{\lambda}{\lambda-it} \\ & =\left( 1- \frac{it}{\lambda} \right)^{-1} \end{align*}

Theorem (指数分布无记忆性)

P\{ X>s+t\mid X>s \}=P\{ X>t \}

Theorem (指数分布与泊松过程)

设泊松过程速率为 $\lambda$ ， $N(t)$ 表示在时间 $[0,t]$ 内发送的事件次数， $N(t)\sim \mathrm{Poisson}(\lambda t)$ ，设 $T_{i}$ 表示第 $i$ 个事件发送的时间， $T_{0}=0$ ，则

X_{i}=T_{i}-T_{i-1}\sim \exp(\lambda)

且

X_{i}

相互独立。

首先

P\{ X_{1} >t \}=P\{ N(t)=0 \}=e^{-\lambda t}

其次假设

X_{k-1}\sim \exp(\lambda)

，此时

\begin{align*} P\{ X_{k}>t\mid T_{k-1} =s \} & =P\{ N(s+t)-N(s)=0\mid T_{k-1}=s \} \\ & =P\{ N(s+t)-N(s)=0 \} \\ & = e^{-\lambda t} \end{align*}

考虑考虑数学归纳法，故证毕。

Theorem (指数分布的最小值分布)

设 $X\sim \exp(\lambda_{1})$ ， $Y\sim \exp(\lambda_{2})$ ，且 $X$ 与 $Y$ 独立，则

Z=\min(X,Y)\sim \exp(\lambda_{1}+\lambda_{2})

注意到

\begin{align*} P\{ Z>z \} & =P\{ X>z,Y>z \} \\ & =e^{-\lambda_{1}z}e^{-\lambda_{2}z} \\ & =e^{-(\lambda_{1}+\lambda_{2})z} \end{align*}

显然可推广至

n

个场景。

2.5 伽马分布

伽马分布记作

X\sim Ga(\alpha,\lambda)

概率密度函数为

p(x)=\begin{cases} \frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}, & x>0 \\ 0, & x<0 \end{cases}

期望为

\frac{\alpha}{\lambda}

，方差为

\frac{\alpha}{\lambda^{2}}

。特征函数为

\begin{align*} f(t) & =\int_{0}^{\infty} e^{itx} \frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x} \, dx \\ & = \left( \frac{\lambda}{\lambda-it} \right)^{\alpha}\int_{0}^{\infty} \frac{(\lambda-it)^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1} e^{-(\lambda-it)x} \, dx \\ & = \left( 1-\frac{it}{\lambda} \right)^{-\alpha} \end{align*}

具有再生性，设

X\sim Ga(\alpha_{1},\lambda)

，

Y\sim Ga(\alpha_{2},\lambda)

，且

X

，

Y

相互独立，则

X+Y\sim Ga(\alpha_{1}+\alpha_{2},\lambda)

Theorem (线性变换)

若 $X\sim Ga(\alpha,\lambda)$ ，则

kX\sim Ga\left( \alpha, \frac{\lambda}{k} \right)

Theorem (与指数分布关系)

\exp(\lambda)=Ga(1,\lambda)

Theorem (伽马分布与泊松过程)

T_{i}\sim Ga(i,\lambda)

2.6 贝塔分布

贝塔分布记作

X\sim \mathrm{Beta}(\alpha ,\beta)

概率密度函数为

p(x)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}

注意到

\begin{align*} E(X^{k}) & =\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\int _{0}^{1} x^{\alpha+k-1}(1-x)^{\beta-1} \, dx \\ & = \frac{\Gamma(\alpha+\beta)\Gamma(\alpha+k)}{\Gamma(\alpha+\beta+k)\Gamma(\alpha)} \end{align*}

从而期望为

E(X)=\frac{\alpha}{\alpha+\beta}

方差为

Var(X)=\frac{\alpha\beta}{(\alpha+\beta)^{2}(\alpha+\beta+1)}

Theorem (与二项分布的关系)

设 $X\sim B(n,p)$ ， $p$ 的先验分布为

\pi(p)\sim B(\alpha,\beta)

试验成功次数为

X

，则

\pi(p\mid X=x)=B(\alpha+x,\beta+n-x)

注意到

p(X=x\mid p)=\binom{n}{x}p^{x}(1-p)^{n-x}\propto p^{x}(1-p)^{n-x}

而

\pi(p)\propto p^{\alpha-1}(1-p)^{\beta-1}

从而

\pi(p\mid X=x)\propto p^{\alpha+x-1}(1-p)^{\beta+n-x-1}

因此

\pi(p\mid X=x)\sim B(\alpha+x,\beta+n-x)

Theorem (与伽马分布的关系)

若 $X\sim Ga(\alpha,\lambda)$ ， $Y\sim Ga(\beta,\lambda)$ ，则

\frac{X}{X+Y}\sim B(\alpha,\beta)

2.7 卡方分布

若 $\boldsymbol{X}\sim N(0,I)$ ， $i.i.d$ ，则

\boldsymbol{X}^{\top}\boldsymbol{X}\sim \chi^{2}(n)

期望为

n

，方差为

2n

。

Theorem (更一般的卡方分布)

若 $\boldsymbol{X}\sim N(0,I)$ ， $A$ 为幂等矩阵，且 $r(A)=r$ ，则

\boldsymbol{X}^{\top}A\boldsymbol{X}\sim \chi^{2}(r)

Theorem (卡方分布与正态分布)

若 $\boldsymbol{X}\sim N(\boldsymbol{\mu},\Sigma)$ ，则

(\boldsymbol{X}-\boldsymbol{\mu})^{\top}\Sigma^{-1}(\boldsymbol{X}-\boldsymbol{\mu})\sim \chi^{2}(n)

Theorem (卡方分布与伽马分布)

\chi^{2}(n)=Ga\left( \frac{n}{2}, \frac{1}{2} \right)

2.8 t 分布

Definition (t分布)

若 $X\sim N(0,1)$ ， $Y\sim \chi^{2}(n)$ ， $X$ 与 $Y$ 相互独立，则

t=\frac{X}{\sqrt{ \frac{Y}{n} }}\sim t(n)

2.9 F 分布

Definition (F分布)

若 $X\sim \chi^{2}(n)$ ， $Y\sim \chi^{2}(m)$ ， $X$ 与 $Y$ 相互独立，则

F=\frac{X / n}{Y / m}\sim F(n,m)

04常见分布

04常见分布

1. 离散分布

1.1 伯努利分布

1.2 二项分布

1.3 多项分布

1.4 几何分布

1.5 泊松分布

2. 连续分布

2.1 均匀分布

2.2 正态分布

2.3 多元正态分布

2.4 指数分布

2.5 伽马分布

2.6 贝塔分布

2.7 卡方分布

2.8 t 分布

2.9 F 分布

ON THIS PAGE