02随机变量与分布

Lingfeng 2025-09-02

02随机变量与分布

1. 基本概念

Definition (随机变量)

设 $X:\Omega\to \mathbb{R}$ ，若 $X$ 关于 $\mathcal{F}$ 为可测函数，即 $\{ X\leq x \} =\{ \omega \in\Omega\mid X(w)\leq x \}\in\mathcal{F}$ 则称 $X$ 是 $\mathcal{F}$ 上的随机变量。

Definition (分布函数)

设概率空间 $(\Omega,\mathcal{F},P)$ ，函数 $F(x)=P\{ X\leq x \}=P\{ \omega\mid X(\omega)\leq x \}$ 称为随机变量 $X$ 的分布函数。

单调性：若 $a<b$ ，则 $F(a)\leq F(b)$
$F(-\infty)=0$ ， $F(+\infty)=1$
右连续性： $F(x+0)=F(x)$

这是因为 $\begin{align*} F(x+0) & =\lim_{ n \to \infty } P\left\{ X\leq x + \frac{1}{n} \right\} \\ & = P \lim_{ n \to \infty }\left\{ X\leq x + \frac{1}{n} \right\} \\ & = P \bigcap_{n = 1}^{\infty} \left\{ X\leq x + \frac{1}{n} \right\} \\ & =P\{ X\leq x \} \\ & = F(x) \end{align*}$ 但是 $\lim_{ n \to \infty } \left\{ X\leq x - \frac{1}{n} \right\}=\bigcup_{n = 1}^{\infty} \left\{ X\leq x-\frac{1}{n} \right\}=\{ X<x \}\neq \{ X\leq x \}$

2. 随机变量的变换

2.1 变换公式

Theorem (随机变量变换公式)

若 $\xi$ 为连续性随机变量，其密度函数为 $p(x)$ ，而 $\eta=g(\xi)$ ，则其密度函数满足：

若 $g(x)$ 严格单调，则 $q(y)=p(g^{-1}(y))\lvert g^{-1}(y)' \rvert$
若 $g(x)$ 在不重叠区间 $I_{1},I_{2},\dots$ 上逐段严格单调，其反函数为 $h_{1}(y),h_{2}(y),\dots$ ，且 $h_{1}'(y),h_{2}'(y),\dots$ 均为连续函数，则 $q(y)=\sum_{i}p(h(y))\lvert h'(y) \rvert$

Theorem (随机向量变换公式)

若 $\boldsymbol{\xi}=(\xi_{1},\dots,\xi_{n})$ 的密度函数为 $p(x_{1},\dots,x_{n})$ ，而 $\boldsymbol{\eta}=(\eta_{1},\dots,\eta_{n})=(g_{1}(\boldsymbol{\xi}),\dots,g_{n}(\boldsymbol{\xi}))$ ，则其密度函数 $q(y_{1},\dots,y_{n})$ 满足：

若 $\boldsymbol{g}(\boldsymbol{\xi})$ 为双射，逆变换 $\boldsymbol{h}(\boldsymbol{\eta})$ 是连续可微函数，且雅可比行列式不为 0，则 $q(y_{1},\dots,y_{n})=p(h_{1}(y_{1},\dots,y_{n}),\dots,h_{n}(y_{1},\dots,y_{n}))\lvert \det J_{h}(y_{1},\dots,y_{n}) \rvert$
若 $\boldsymbol{g}(\boldsymbol{\xi})$ 在 $D_{1},D_{2},\dots,D_{m}$ 中是双射，且在每个区域存在唯一逆变换 $\boldsymbol{h}_{i}$ ，则 $q(\boldsymbol{y})=\sum_{i = 1}^{m} p(\boldsymbol{h}_{i}(\boldsymbol{y}))\lvert \det J_{\boldsymbol{h}_{i}}(\boldsymbol{y}) \rvert$

Example (和的分布)

若 $\eta=\xi_{1}+\xi_{2}$ ，求 $(\xi_{1},\xi_{2})$ 的密度函数为 $p(x_{1},x_{2})$ ，求 $q(y)$ 。

考虑构造 $\begin{cases} \eta_{1}=\xi_{1}+\xi_{2} \\ \eta_{2}=\xi_{2} \end{cases}$ 此时 $\begin{cases} \xi_{1}=\eta_{1}-\eta_{2} \\ \xi_{2}=\eta_{2} \end{cases}$ 因此 $q(y_{1},y_{2})=p(y_{1}-y_{2},y_{2})$ 从而 $q(y)=\int_{-\infty}^{\infty} p(y-u,u) \, du$

Example (商的分布)

若 $\eta=\frac{\xi_{1}}{\xi_{2}}$ ，求 $(\xi_{1},\xi_{2})$ 的密度函数为 $p(x_{1},x_{2})$ ，求 $q(y)$ 。

同理 $\begin{cases} \eta_{1}=\frac{\xi_{1}}{\xi_{2}} \\ \eta_{2} = \xi_{2} \end{cases}$ 有 $\begin{cases} \xi_{1}=\eta_{1}\eta_{2} \\ \xi_{2}=\eta_{2} \end{cases}$ 此时 $J =\left | \begin{matrix} \eta_{2} & \eta_{1} \\ 0 & 1 \end{matrix} \right |=\eta_{2}$ 因此 $q(y_{1},y_{2})=p(x_{1}x_{2},x_{2})\lvert x_{2} \rvert$ 从而 $q(y)=\int_{-\infty}^{\infty} \lvert z \rvert p(zy,z) \, dz$

2.2 次序统计量

Theorem (次序统计量的分布)

若 $\xi_{1},\xi_{2},\dots,\xi_{n}$ 独立同分布，分布函数为 $F(x)$ ，密度函数为 $p(x)$ ，设 $\xi_{(1)},\xi_{(2)},\dots,\xi_{(n)}$ 为次序统计量，则 $\xi_{(k)}$ 的密度函数 $p_{k}(x)$ 为 $p_{k}(x)=\binom{n}{k-1,1,n-k}F^{k-1}(x)p(x)(1-F(x))^{n-k}$

Corollary (极值统计量的分布)

极小值 $\begin{align*}p_{1}(x)&=np(x)(1-F(x))^{n-1} \\ F_{1}(x) & = 1-(1-F(x))^{n} \end{align*}$ 极大值 $\begin{align*} p_{n}(x)&=np(x)F(x)^{n-1} \\ F_{n}(x)&= F^{n}(x) \end{align*}$

Theorem (多个次序统计量的分布)

次序统计量 $(X_{(i)},X_{(j)})$ 的联合分布密度函数为 $p_{ij}(y,z)=\binom{n}{i-1,j-i-1,n-j}F^{i-1}(y)(F(z)-F(y))^{j-i-1}(1-F(z))^{n-j}p(y)p(z)$

Example (极差的分布)

设 $\xi_{i}\sim F(x)$ ，概率密度函数为 $p(x)$ ，求极差 $\xi_{(n)}-\xi_{(1)}$ 的分布。

注意到 $(\xi_{(1)},\xi_{(n)})$ 概率密度函数为 $p(x,y)=\binom{n}{n-2}(F(y)-F(x))^{n-2}p(x)p(y)$ 因此 $\begin{align*} q(z) & =\int_{-\infty}^{\infty} p(x,z+x) \, dx \\ & =n(n-1)\int_{-\infty}^{\infty} (F(z+x)-F(x))^{n-2}p(x)p(z+x) \, dx \end{align*}$

Corollary (次序统计量的联合分布)

$n$ 个次序统计量的联合分布为 $p(y_{1},y_{2},\dots,y_{n})=n!\prod_{i=1}^{n}p(y_{i})$

3. 随机变量的独立性

Theorem (随机变量独立性判别)

若连续型随机变量 $(\xi_{1},\xi_{2},\dots,\xi_{n})$ 概率密度函数 $p(x_{1},x_{2},\dots,x_{n})$ 可以写成 $p(x_{1},x_{2},\dots,x_{n})=f_{1}(x_{1})f_{2}(x_{2})\dots f_{n}(x_{n})$ 则 $\xi_{1},\xi_{2},\dots,\xi_{n}$ 相互独立。

Example (指数分布次序统计量差的独立性)

设 $X_{i}\sim \exp(\lambda)$ ， $i.i.d$ ，求证次序统计量的差 $X_{(i)}-X_{(i-1)}$ ， $i=1,\dots,n-1$ 相互独立，其中 $X_{(0)}=0$ 。

设 $\begin{cases} Y_{1} =X_{(1)} \\ Y_{2} =X_{(2)}-X_{(1)} \\ \dots \\ Y_{n} =X_{(n)}-X_{(n-1)} \end{cases}$ 此时 $\begin{cases} X_{(1)}=Y_{1} \\ X_{(2)}=Y_{1}+Y_{2} \\ \dots \\ X_{(n)}=Y_{1}+Y_{2}+\dots+Y_{n} \end{cases}$ 计算 $J=\left | \begin{matrix} 1 \\ 1 & 1 \\ \vdots & \vdots & \ddots \\ 1 & 1 & \dots & 1 \end{matrix} \right | =1$ 因此 $\begin{align*} q(y_{1},y_{2},\dots,y_{n}) & =p(y_{1},y_{1}+y_{2},\dots,y_{1}+y_{2}+\dots y_{n}) \\ & = n!\prod_{i=1}^{n}\lambda\exp\left( -\lambda \sum_{j = 1}^{i} y_{i} \right) \\ & =\prod_{i=1}^{n }(n-i+1)\lambda\exp(-(n-i+1)\lambda y_{i}) \end{align*}$ 即 $Y_{i}\sim \exp(n-i+1)\lambda$ 且相互独立。