05减少方差的统计方法

Lingfeng 2025-04-03

05减少方差的统计方法

1. 估计定积分例子

Example (估计定积分)

考虑定积分 $I=\int _{0}^{1}f(x) \, dx$

考虑积分 $I$ 是由函数 $f(x)$ 在区间 $[0,1]$ 形成的曲边梯形 $S$ 的面积。通过向正方形 $\{ 0\leq x\leq 1,0\leq y\leq 1 \}$ 内随机投点 $\{ \xi_{i},\eta_{i}(i=1,2,\dots,n) \}$ ，其中 $\xi_{i}\sim U(0,1)$ ， $\eta_{i}\sim U(0,1)$ 且相互独立，此时 $\hat{I}=\frac{1}{n}\sum_{i = 1}^{n} I_{(\xi_{i},\eta_{i}\in S)}=\frac{1}{n}\sum_{i = 1}^{n} I_{\eta_{i}\leq f(\xi_{i})}$

计算期望有 $\begin{align*} E(\hat{I}) & =E(I_{\eta\leq f(\xi)}) \\ & =P\{ \eta\leq f(\xi) \} \\ & = \int _{0}^{1}P\{ \eta\leq f(x) \} \, dx \\ & = \int _{0}^{1} \int _{0}^{f(x)} \, dy \, dx \\ & = \int _{0}^{1}f(x) \, dx \\ & = I \end{align*}$ 方差为 $\begin{align*} Var(\hat{I}) & = \frac{1}{n} Var(I_{\eta \leq f(\xi)}) \\ & = \frac{1}{n} (E(I^{2}_{\eta \leq f(\xi)})-E^{2}(I_{\eta \leq f(\xi)})) \\ & = \frac{1}{n}(I-I^{2})=\frac{1}{n}I(1-I) \end{align*}$

Corollary (通用情况)

设 $x \in[a,b]$ ， $f(x)\in[c,d]$ ，此时令 $\varphi(u)=\frac{f(a+(b-a)u)-c}{d-c}$ 其中 $u\in[0,1]$ ，此时 $\varphi(u)\in[0,1]$ 。将随机投点法应用于 $\int _{0}^{1}\varphi(u) \, du$ ，此时 $\int _{a}^{b}f(x) \, dx =(b-a)(d-c)\int _{0}^{1}\varphi(u) \, du+c(b-a)$

1.2 平均值估计法

Definition (平均值估计法)

考虑 $r_{i}\sim U(0,1)$ ， $i=1,\dots,n$ ，此时 $\hat{I}=\frac{1}{n}\sum_{i = 1}^{n} f(r_{i})$

计算期望有 $E(\hat{I})=E(f(r))=\int _{0}^{1}f(x) \, dx =I$ 计算方差有 $\begin{align*} Var(\hat{I}) & =\frac{1}{n}Var(f(r)) \\ & = \frac{1}{n}(E(f(r)^{2})-E^{2}f(r)) \\ & = \frac{1}{n}(E(f(r)^{2})-I^{2}) \end{align*}$
注意到随机投点法 $Var(\hat{I})=\frac{1}{n}(I-I^{2})=\frac{1}{n}(E(f(r))-I^{2})$ 而由 $f(r)\in[0,1]$ ，因此 $E(f(r))\geq E(f(r)^{2})$ 故平均值估计方差更小。

2. 对偶变量

Definition (对偶变量)

设 $X_{1},X_{2},\dots,X_{n}$ 为样本数据，假设存在 $X$ 对偶变量 $Y=g(X)$ ， $X$ ， $Y$ 同分布且负相关，此时令 $\begin{align*} \hat{\mu}_{1} & =\frac{1}{n}\sum_{i = 1}^{n} X_{i} \\ \hat{\mu}_{2} & = \frac{1}{2n}\sum_{i = 1}^{n} (X_{i}+Y_{i}) \end{align*}$ 有 $E(\hat{\mu}_{1})=E(\hat{\mu}_{2})=\mu$ ， $Var(\hat{\mu}_{1})\geq Var(\hat{\mu}_{2})$ 。

Lemma (均匀分布对偶变量)

设 $X\sim U(0,1)$ ，令 $g(x)=1-x$ ，则 $Y=g(X)$ 与 $X$ 同分布且负相关。

证明

首先 $E(g(X))=\int _{0}^{1}(1-x) \, dx =1-\frac{1}{2}=\frac{1}{2}=E(X)$ 同时 $Cov(X,g(X))=Cov(X,1-X)=-Var(X)<0$

Theorem (对偶变量估计 $E(f(U))$ )

设 $f$ 为单调函数， $U\sim U(0,1)$ ，则 $f(1-U)$ 与 $f(U)$ 负相关。

证明

设 $g(U)=-f(1-U)$ ，显然 $g(U)$ 也为单增函数，此时只需证明 $Cov(f(U),g(U))\geq 0$ 注意到 $\begin{align*} Cov(f(U),g(U)) & =E(f(U)g(U))-E(f(U))E(g(U)) \\ & = \int f(x)g(x) \, dx -\int f(x) \, dx \int g(y) \, dy \\ & = \iint f(x)(g(x)-g(y))\,dxdy \\ & = \frac{1}{2}\iint(f(x)(g(x)-g(y))+f(y)(g(y)-g(x)))\, dxdy \\ & = \frac{1}{2} \iint (f(x)-f(y))(g(x)-g(y)) \, dxdy \geq 0 \end{align*}$ 故证毕。

Corollary (对偶变量估计 $E(h(U_{1},U_{2},\dots,U_{n}))$ )

设 $h(x_{1},x_{2},\dots,x_{n})$ 是关于每个自变量单调的函数， $U_{1},U_{2},\dots,U_{n}$ 相互独立，则 $Cov(h(U_{1},U_{2},\dots,U_{n}), h(1-U_{1},1-U_{2},\dots,1-U_{n}))\leq 0$

Corollary (对偶变量法推广)

若 $X$ 分布函数 $F(x)$ 逆变换存在，则对 $E(X)=E(F^{-1}(U))$ 的估计，可用 $E(X)=\frac{1}{2}E(F^{-1}(U)+F^{-1}(1-U))$ 估计降低方差。

3. 控制变量法

Definition (控制变量)

设随机变量 $X$ ， $\mu_{x}=E(X)$ 。令 $\beta$ 为常数， $Y$ 为任意的随机变量， $E(Y)=\mu_{y}$ ，设 $X+\beta(Y-\mu _{Y})$ 为 $X$ 的控制变量。

考虑 $\hat{\mu}_{\beta}=\frac{1}{n}\sum_{i = 1}^{n} (X_{i}+\beta(Y_{i}-u_{y}))$ 此时 $Var(\hat{\mu}_{\beta})=\frac{1}{n}(Var(X)+\beta^{2}Var(Y)+2\beta Cov(X,Y))$ 欲使方差最小，只需令 $\beta_{0}=-\frac{Cov(X,Y)}{Var(Y)}$ 此时 $Var(\hat{\mu}_{\beta_{0}})=\frac{1}{n}\left( Var(X)- \frac{Cov^{2}(X,Y)}{Var(Y)} \right)\leq \frac{1}{n}Var(X)$

4. 条件期望法

Definition (条件期望法 (Rao-Blackwell 方法))

从 $X$ 中抽取 $n$ 个独立样本值 $X_{1},X_{2},\dots,X_{n}$ ，则平均值估计为 $\hat{\mu}_{1}=\frac{1}{n}\sum_{i = 1}^{n} X_{i}$ 对另外随机变量 $Y$ ，令 $g(Y)=E(X\mid Y)$ ，则 $\hat{\mu}_{2}=\frac{1}{n}\sum_{i = 1}^{n}g(Y_{i})$

注意到 $E(g(Y))=E(E(X\mid Y))=E(X)$ 而 $Var(g(Y))=Var(E(X\mid Y))\leq Var(X)$

5. 重要抽样法

Definition (重要抽样法)

设 $Y\sim g$ ，此时考虑 $\hat{\mu}=\frac{1}{n}\sum_{i = 1}^{n} Y_{i}f(Y_{i})\omega(Y_{i})$ 其中 $\omega(Y_{i})$ 为重要抽样的权因子，通常取 $\frac{1}{g(Y_{i})}$ 。

注意到 $E_{X\sim f}(X)=\int xf(x) \, dx =\int \frac{xf(x)}{g(x)}g(x) \, dx =E_{Y\sim g}\left( \frac{Y(f(Y))}{g(Y)} \right)$ 此时计算 $\begin{align*} Var(\hat{\mu}) & =\frac{1}{n}Var\left( \frac{Yf(Y)}{g(Y)} \right) \\ & = \frac{1}{n}\left( E\left( \frac{Y^{2}f^{2}(Y)}{g(Y)} \right)-\mu^{2} \right) \\ & = \frac{1}{n}\left( \int \frac{y^{2}f^{2}(y)}{g(y)} \, dy-\mu^{2} \right) \end{align*}$ 因此需考虑 $g(x)=\frac{xf(x)}{\mu}$

6. 分层抽样法

Definition (分层抽样法)

对区间 $[0,1]$ 用点 $a_{i},i=0,1,\dots,m$ 分成 $m$ 个互不相交的子区间， $a_{0}=0$ ， $a_{m}=1$ 。则 $\begin{align*} \hat{\mu}_{i} & = \frac{a_{i}-a_{i-1}}{n_{i}}\sum_{j = 1}^{n} f(r_{i,j}) \\ \hat{\mu} & =\sum_{i = 1}^{m} \hat{\mu}_{i} \end{align*}$

注意到 $\begin{align*} \mu_{i} & =\int _{a_{i-1}}^{a_{i}}f(x) \, dx \\ & =(a_{i}-a_{i-1})\int _{a_{i-1}}^{a_{i}}f(x) \frac{1}{a_{i}-a_{i-1}} \, dx \\ & =(a_{i}-a_{i-1})E(f(X_{i})) \end{align*}$ 其中 $X_{i}\sim U(a_{i-1},a_{i})$ 。而 $Var(\hat{\mu})=\sum_{i = 1}^{m} \frac{(a_{i}-a_{i-1})^{2}}{n_{i}}Var(f(r_{i}))$

Theorem (最优分配)

当样本量为 2 时，最优分配为 $\frac{n_{1}}{n_{2}}=\frac{(a_{1}-a_{0})\text{SD}(f(r_{1}))}{(a_{2}-a_{1})\text{SD}(f(r_{2}))}$

7. 随机数重复使用

Definition (随机数重复使用)

如果衡量两种不同估计方法差异的方差，在随机模拟中，就可以考虑用随机数重复使用法降低估计的方差。

如果随机数重复使用，则 $Var(\hat{\sigma^{2}_{1}}-\hat{\sigma^{2}_{2}})=Var(\hat{\sigma^{2}_{1}})+Var(\hat{\sigma^{2}_{2}})-2Cov(\hat{\sigma^{2}_{1}},\hat{\sigma^{2}_{2}})$ 如果每种方法使用不同的样本，则变成 $Var(\hat{\sigma^{2}_{1}}-\hat{\sigma^{2}_{2}})=Var(\hat{\sigma^{2}_{1}})+Var(\hat{\sigma^{2}_{2}})$