01预备知识

Lingfeng 2024-09-10

01预备知识

1. 概率空间

随机试验每一个可能的结果被称为样本点 $w$ 。
全体样本点所构成的集合称为样本空间 $\Omega$ 。
样本空间中的子集构建事件域 $\mathcal{F}$ ，且 $\mathcal{F}$ 为 $\sigma$ 域。
概率 $P$ 为 $\mathcal{F}\to \mathbb{R}$ 的实值函数，为概率测度。
$(\Omega,\mathcal{F},P)$ 称为概率空间。 $\mathcal{F}$ 中的元素称为事件， $P(A)$ 称为事件 $A$ 的概率。

Definition ( $\sigma$ 域)

设 $\Omega$ 为一个样本空间， $\mathcal{F}$ 为 $\Omega$ 中的子集构成的集合族。如果满足

$\Omega \in \mathcal{F}$
若 $A \in \mathcal{F}$ ，则 $A^{c} \in \mathcal{F}$
若 $A_{n} \in \mathcal{F}$ （ $n=1,2,\dots$ ），则 $\bigcup_{n = 1}^{\infty}A_{n} \in \mathcal{F}$
则称 $\mathcal{F}$ 为 $\Omega$ 上的 $\sigma$ 域（ $\sigma$ 代数）。显然 $\mathcal{F}$ 中任意可列交、并、补运算均封闭。

Definition (概率测度)

设 $P: \mathcal{F}\to \mathbb{R}$ ，即定义在 $\mathcal{F}$ 上的实值函数。如果

$P(\Omega)=1$
$\forall A \in \mathcal{F}, 0\leq P(A)\leq 1$
对于 $\{ A_{n} \}$ ，当 $i\neq j$ 时， $A_{i}\cap A_{j}=\varnothing$ ，有 $P\left( \bigcup_{n = 1}^{\infty}A_{n} \right)=\sum_{n = 1}^{\infty}P(A_{n})$
则称 $P$ 为 $(\Omega,\mathcal{F})$ 上的概率。

设 $X:\Omega\to \mathbb{R}$ ，即定义在 $\Omega$ 上的实值函数。如果 $X$ 关于 $\mathcal{F}$ 为可测函数，即 $X^{-1}(\mathcal{B} )= \{ \omega \in \Omega \mid X(\omega) \in \mathcal{B} \} \in \mathcal{F}$ 则称 $X$ 是 $\mathcal{F}$ 上的随机变量，简称随机变量。

Definition (分布函数)

设概率空间 $(\Omega,\mathcal{F},P)$ ，函数 $F(x)=P \{ \omega \mid X(\omega)\leq x \}=P \{ X\leq x \}$ 称为随机变量 $X$ 的分布函数。

3. 矩母函数、特征函数与数字特征

3.1 黎曼─斯蒂尔杰斯（Riemann-Stieltjes, R-S）积分

Definition (Riemann-Stieltjes积分)

Riemann积分定义为 $\int_{a}^{b}g(x) \, dx= \lim_{ \Delta \to 0 }\sum_{i = 1}^{n} g(\xi_{i})(x_{i}-x_{i-1})$ 而Riemann-Stieltjes积分定义为 $\int_{a}^{b}g(x) \, dF(x)=\lim_{ \Delta \to 0 } \sum_{i = 1}^{n} g(\xi_{i})(F(x_{i})-F(x_{i-1}))$

性质

当 $F(x)=x$ 时，Riemann-Stieltje 积分即为 Riemann 积分。
当 $F(x)$ 为阶梯函数时，Riemann-Stieltjes 积分为求和级数。
当 $F(x)$ 为离散随机变量的概率分布函数时，有 $\int_{-\infty}^{\infty} x \, dF(x)=\lim_{ \Delta \to 0 } \sum_{i = 1}^{n} x_{i}(F(x_{i})-F(x_{i-1}))=\sum_{i} x_{i}p_{i}$
根据 Riemann-Stieltjes 积分的定义，离散型和连续型随机变量的数学期望可以用一个统一的积分形式表达 $E(X)=\int_{-\infty}^{\infty} x \, dF(x)$

充分条件 若函数 $g(x)$ 为连续函数， $F(x)$ 为单调函数，则 Riemann-Stieltjes 积分存在。

3.2 矩母函数

Definition (矩母函数)

矩母函数定义为 $\phi(t)=E(e^{tX})$

类似变换如下：

矩母函数 $E(e^{tX})$
概率母函数 $E(t^{X})$
Laplace变换 $E(e^{-tX})$
特征函数 $E(e^{itX})$

性质

$E(X^{n})=\phi^{(n)}(0)$
若 $Y=aX+b$ ，则 $\phi_{Y}(t)=e^{bt}\phi_{X}(at)$

Example (正态分布的矩母函数与特征函数)

设 $Y\sim N(\mu,\sigma^{2})$ ，求其矩母函数与特征函数。

解
先计算 $X\sim N(0,1)$ ，此时 $\begin{align*} \phi_{X}(t) & =E(e^{tX}) \\ & = \frac{1}{\sqrt{ 2\pi }} \int_{-\infty}^{\infty} e^{tx} e^{-x^{2}/2} \, dx \\ & = e^{t^{2}/2} \frac{1}{\sqrt{ 2\pi }}\int_{-\infty}^{\infty} e^{-(x-t)^{2}/2} \, dx \\ & = e^{t^{2}/2} \end{align*}$ 注意到 $Y=\sigma X+\mu$ ，故 $\phi_{Y}(t)=e^{\mu t}\phi_{X}(\sigma t)=e^{\mu t+\sigma^{2}t^{2}/2}$

特征函数同理。注意到 $\begin{align*} f_{X}(t) & = E(e^{itX}) \\ & = \frac{1}{\sqrt{ 2\pi }}\int_{-\infty}^{\infty} e^{itx}e^{-x^{2}/2} \, dx \\ & = e^{-t^{2}/2} \frac{1}{\sqrt{ 2\pi }}\int_{-\infty}^{\infty} e^{(x-it)^{2}/2} \, dx \\ & = e^{-t^{2}/2} \end{align*}$ 故 $\begin{align*} f_{Y}(t)=e^{i \mu t}f_{X}(\sigma t)=e^{i \mu t- \sigma^{2}t^{2}/2} \end{align*}$

3.3 期望

Lemma (Fubini定理)

对于两重求和，若 $\sum_{i = 1}^{\infty}\sum_{j = 1}^{\infty}\lvert a_{i,j}\rvert<+\infty$ ，则求和可以交换次序；对于两重积分 $\int_{0}^{\infty} \int_{0}^{\infty} f(x,y) \, dy \, dx$ ，若 $\int_{0}^{\infty} \int_{0}^{\infty} \lvert f(x,y) \rvert \, dx \, dy<+\infty$ ，则积分可以交换次序。

Corollary (Tonelli定理)

退化为非负即可。

Theorem (分布函数期望公式)

设 $X$ 为非负连续型随机变量，分布函数为 $F(x)$ ，则 $E(X)=\int_{0}^{\infty} (1-F(x)) \, dx = \int_{0}^{\infty} P(X>x) \, dx = \int_{0}^{1} F^{-1}(p) \, dp$

证明考虑 Fubini 定理，有 $\begin{align*} E(X) & = \int_{0}^{\infty} t \, dF(t) \\ & = \int_{0}^{\infty} \int_{0}^{t} \, dx \, dF(t) \\ & = \int_{0}^{\infty} \int_{x}^{\infty} \, dF(t) \, dx \\ & = \int_{0}^{\infty} (1-F(x)) \, dx \end{align*}$ 而后面的等式注意到 $F(X)\sim U(0,1)$ 因此 $X \stackrel{d}{=} F^{-1}(U)$

Corollary (离散随机变量期望公式)

设 $N$ 为非负离散型随机变量，则 $E(N)=\sum_{k = 1}^{\infty} P(N\geq k)$

3.4 条件期望

Definition (条件期望)

对于离散型变量 $E(X\mid Y=y)=\sum_{x } P\{ X=x \mid Y=y \}$ 对于连续性变量 $E(X\mid Y=y)=\int_{-\infty}^{\infty} xf(x\mid y) \, dx$ 其中 $f(x\mid y)= \frac{f(x,y)}{f(y)}$

Theorem (全期望公式)

对于所有随机变量 $X$ 和 $Y$ ，有 $E(X)=E(E(X\mid Y))$

3.5 条件方差

Definition (条件方差)

所有的随机变量 $X$ 和 $Y$ ，条件方差定义为 $Var(X\mid Y=y)=E((X-E(X\mid Y=y))^{2} \mid Y=y)$ 同时也有 $Var(X\mid Y=y)=E(X^{2}\mid Y=y)-E^{2}(X\mid Y=y)$

Theorem (条件方差公式)

对于所有的随机变量 $X$ 和 $Y$ 有 $Var(X)=E(Var(X\mid Y)+Var(E(X\mid Y)))$

证明注意到左边 $\begin{align*} E(Var(X\mid Y)) & =E(E(X^{2}\mid Y)-E^{2}(X\mid Y)) \\ & =E(X^{2})-E(E^{2}(X\mid Y)) \end{align*}$ 右边 $\begin{align*} Var(E(X\mid Y)) & = E(E^{2}(X\mid Y))-E^{2}(E(X\mid Y)) \\ & = E(E^{2}(X\mid Y))-E^{2}(X) \end{align*}$ 因此 $E(Var(X\mid Y)+Var(E(X\mid Y)))=E(X^{2})-E^{2}(X)=Var(X)$

Example (复合随机变量方差)

设 $X_{1},\dots,X_{n}$ 独立同分布，分布函数为 $F(x)$ ，均值为 $\mu$ 方差为 $\sigma^{2}$ 。此时假设其与非负整数随机变量 $N$ 独立，求 $S=\sum_{i = 1}^{N}X_{i}$ 的方差。

解使用条件方差公式，注意到 $Var(X|N=n) = Var\left( \sum_{i = 1}^{n} X_{i} \right)= n\sigma^{2}$ 故 $E(Var(X\mid N))=E(\sigma^{2}N)=\sigma^{2}E(N)$ 同理 $E(X\mid N=n)=E\left( \sum_{i = 1}^{n} X_{i} \right)=n\mu$ 因此 $Var(E(X\mid N))=Var(\mu N)=\mu Var(N)$ 故 $Var(S)=\sigma^{2}E(N)+\mu Var(N)$

3.6 特殊形式的全概率公式

设 $I(A)$ 为示性随机变量，则有 $E(I(A))=P(A)$ 对于条件期望也有 $E(I(A)\mid Y=y)=P(A\mid Y=y)$

Theorem (全概率公式)

当 $Y$ 为离散随机变量时，有 $P(A)=\sum_{y} P(A\mid Y=y)P(Y=y)$ 当 $Y$ 为连续随机变量时，有 $P(A)=\int_{-\infty}^{\infty} P(A\mid Y=y)f(y) \, dy$