05减少方差的统计方法

Lingfeng2025-04-03

05减少方差的统计方法

1. 估计定积分例子

Example (估计定积分)

考虑定积分

I=\int _{0}^{1}f(x) \, dx

1.1 随机投点法

Definition (随机投点法)

考虑积分 $I$ 是由函数 $f(x)$ 在区间 $[0,1]$ 形成的曲边梯形 $S$ 的面积。通过向正方形 $\{ 0\leq x\leq 1,0\leq y\leq 1 \}$ 内随机投点 $\{ \xi_{i},\eta_{i}(i=1,2,\dots,n) \}$ ，其中 $\xi_{i}\sim U(0,1)$ ， $\eta_{i}\sim U(0,1)$ 且相互独立，此时

\hat{I}=\frac{1}{n}\sum_{i = 1}^{n} I_{(\xi_{i},\eta_{i}\in S)}=\frac{1}{n}\sum_{i = 1}^{n} I_{\eta_{i}\leq f(\xi_{i})}

计算期望有

\begin{align*} E(\hat{I}) & =E(I_{\eta\leq f(\xi)}) \\ & =P\{ \eta\leq f(\xi) \} \\ & = \int _{0}^{1}P\{ \eta\leq f(x) \} \, dx \\ & = \int _{0}^{1} \int _{0}^{f(x)} \, dy \, dx \\ & = \int _{0}^{1}f(x) \, dx \\ & = I \end{align*}

方差为

\begin{align*} Var(\hat{I}) & = \frac{1}{n} Var(I_{\eta \leq f(\xi)}) \\ & = \frac{1}{n} (E(I^{2}_{\eta \leq f(\xi)})-E^{2}(I_{\eta \leq f(\xi)})) \\ & = \frac{1}{n}(I-I^{2})=\frac{1}{n}I(1-I) \end{align*}

Corollary (通用情况)

设 $x \in[a,b]$ ， $f(x)\in[c,d]$ ，此时令

\varphi(u)=\frac{f(a+(b-a)u)-c}{d-c}

其中

u\in[0,1]

，此时

\varphi(u)\in[0,1]

。将随机投点法应用于

\int _{0}^{1}\varphi(u) \, du

，此时

\int _{a}^{b}f(x) \, dx =(b-a)(d-c)\int _{0}^{1}\varphi(u) \, du+c(b-a)

1.2 平均值估计法

Definition (平均值估计法)

考虑 $r_{i}\sim U(0,1)$ ， $i=1,\dots,n$ ，此时

\hat{I}=\frac{1}{n}\sum_{i = 1}^{n} f(r_{i})

计算期望有

E(\hat{I})=E(f(r))=\int _{0}^{1}f(x) \, dx =I

计算方差有

\begin{align*} Var(\hat{I}) & =\frac{1}{n}Var(f(r)) \\ & = \frac{1}{n}(E(f(r)^{2})-E^{2}f(r)) \\ & = \frac{1}{n}(E(f(r)^{2})-I^{2}) \end{align*}

注意到随机投点法

Var(\hat{I})=\frac{1}{n}(I-I^{2})=\frac{1}{n}(E(f(r))-I^{2})

而由

f(r)\in[0,1]

，因此

E(f(r))\geq E(f(r)^{2})

故平均值估计方差更小。

2. 对偶变量

Definition (对偶变量)

设 $X_{1},X_{2},\dots,X_{n}$ 为样本数据，假设存在 $X$ 对偶变量 $Y=g(X)$ ， $X$ ， $Y$ 同分布且负相关，此时令

\begin{align*} \hat{\mu}_{1} & =\frac{1}{n}\sum_{i = 1}^{n} X_{i} \\ \hat{\mu}_{2} & = \frac{1}{2n}\sum_{i = 1}^{n} (X_{i}+Y_{i}) \end{align*}

有

E(\hat{\mu}_{1})=E(\hat{\mu}_{2})=\mu

，

Var(\hat{\mu}_{1})\geq Var(\hat{\mu}_{2})

。

Lemma (均匀分布对偶变量)

设 $X\sim U(0,1)$ ，令 $g(x)=1-x$ ，则 $Y=g(X)$ 与 $X$ 同分布且负相关。

证明

首先

E(g(X))=\int _{0}^{1}(1-x) \, dx =1-\frac{1}{2}=\frac{1}{2}=E(X)

同时

Cov(X,g(X))=Cov(X,1-X)=-Var(X)<0

Theorem (对偶变量估计 $E(f(U))$ )

设 $f$ 为单调函数， $U\sim U(0,1)$ ，则 $f(1-U)$ 与 $f(U)$ 负相关。

证明

设 $g(U)=-f(1-U)$ ，显然 $g(U)$ 也为单增函数，此时只需证明

Cov(f(U),g(U))\geq 0

注意到

\begin{align*} Cov(f(U),g(U)) & =E(f(U)g(U))-E(f(U))E(g(U)) \\ & = \int f(x)g(x) \, dx -\int f(x) \, dx \int g(y) \, dy \\ & = \iint f(x)(g(x)-g(y))\,dxdy \\ & = \frac{1}{2}\iint(f(x)(g(x)-g(y))+f(y)(g(y)-g(x)))\, dxdy \\ & = \frac{1}{2} \iint (f(x)-f(y))(g(x)-g(y)) \, dxdy \geq 0 \end{align*}

故证毕。

Corollary (对偶变量估计 $E(h(U_{1},U_{2},\dots,U_{n}))$ )

设 $h(x_{1},x_{2},\dots,x_{n})$ 是关于每个自变量单调的函数， $U_{1},U_{2},\dots,U_{n}$ 相互独立，则

Cov(h(U_{1},U_{2},\dots,U_{n}), h(1-U_{1},1-U_{2},\dots,1-U_{n}))\leq 0

Corollary (对偶变量法推广)

若 $X$ 分布函数 $F(x)$ 逆变换存在，则对 $E(X)=E(F^{-1}(U))$ 的估计，可用

E(X)=\frac{1}{2}E(F^{-1}(U)+F^{-1}(1-U))

估计降低方差。

3. 控制变量法

Definition (控制变量)

设随机变量 $X$ ， $\mu_{x}=E(X)$ 。令 $\beta$ 为常数， $Y$ 为任意的随机变量， $E(Y)=\mu_{y}$ ，设

X+\beta(Y-\mu _{Y})

为

X

的控制变量。

考虑

\hat{\mu}_{\beta}=\frac{1}{n}\sum_{i = 1}^{n} (X_{i}+\beta(Y_{i}-u_{y}))

此时

Var(\hat{\mu}_{\beta})=\frac{1}{n}(Var(X)+\beta^{2}Var(Y)+2\beta Cov(X,Y))

欲使方差最小，只需令

\beta_{0}=-\frac{Cov(X,Y)}{Var(Y)}

此时

Var(\hat{\mu}_{\beta_{0}})=\frac{1}{n}\left( Var(X)- \frac{Cov^{2}(X,Y)}{Var(Y)} \right)\leq \frac{1}{n}Var(X)

4. 条件期望法

Definition (条件期望法 (Rao-Blackwell 方法))

从 $X$ 中抽取 $n$ 个独立样本值 $X_{1},X_{2},\dots,X_{n}$ ，则平均值估计为

\hat{\mu}_{1}=\frac{1}{n}\sum_{i = 1}^{n} X_{i}

对另外随机变量

Y

，令

g(Y)=E(X\mid Y)

，则

\hat{\mu}_{2}=\frac{1}{n}\sum_{i = 1}^{n}g(Y_{i})

注意到

E(g(Y))=E(E(X\mid Y))=E(X)

而

Var(g(Y))=Var(E(X\mid Y))\leq Var(X)

5. 重要抽样法

Definition (重要抽样法)

设 $Y\sim g$ ，此时考虑

\hat{\mu}=\frac{1}{n}\sum_{i = 1}^{n} Y_{i}f(Y_{i})\omega(Y_{i})

其中

\omega(Y_{i})

为重要抽样的权因子，通常取

\frac{1}{g(Y_{i})}

。

注意到

E_{X\sim f}(X)=\int xf(x) \, dx =\int \frac{xf(x)}{g(x)}g(x) \, dx =E_{Y\sim g}\left( \frac{Y(f(Y))}{g(Y)} \right)

此时计算

\begin{align*} Var(\hat{\mu}) & =\frac{1}{n}Var\left( \frac{Yf(Y)}{g(Y)} \right) \\ & = \frac{1}{n}\left( E\left( \frac{Y^{2}f^{2}(Y)}{g(Y)} \right)-\mu^{2} \right) \\ & = \frac{1}{n}\left( \int \frac{y^{2}f^{2}(y)}{g(y)} \, dy-\mu^{2} \right) \end{align*}

因此需考虑

g(x)=\frac{xf(x)}{\mu}

6. 分层抽样法

Definition (分层抽样法)

对区间 $[0,1]$ 用点 $a_{i},i=0,1,\dots,m$ 分成 $m$ 个互不相交的子区间， $a_{0}=0$ ， $a_{m}=1$ 。则

\begin{align*} \hat{\mu}_{i} & = \frac{a_{i}-a_{i-1}}{n_{i}}\sum_{j = 1}^{n} f(r_{i,j}) \\ \hat{\mu} & =\sum_{i = 1}^{m} \hat{\mu}_{i} \end{align*}

注意到

\begin{align*} \mu_{i} & =\int _{a_{i-1}}^{a_{i}}f(x) \, dx \\ & =(a_{i}-a_{i-1})\int _{a_{i-1}}^{a_{i}}f(x) \frac{1}{a_{i}-a_{i-1}} \, dx \\ & =(a_{i}-a_{i-1})E(f(X_{i})) \end{align*}

其中

X_{i}\sim U(a_{i-1},a_{i})

。而

Var(\hat{\mu})=\sum_{i = 1}^{m} \frac{(a_{i}-a_{i-1})^{2}}{n_{i}}Var(f(r_{i}))

Theorem (最优分配)

当样本量为 2 时，最优分配为

\frac{n_{1}}{n_{2}}=\frac{(a_{1}-a_{0})\text{SD}(f(r_{1}))}{(a_{2}-a_{1})\text{SD}(f(r_{2}))}

7. 随机数重复使用

Definition (随机数重复使用)

如果衡量两种不同估计方法差异的方差，在随机模拟中，就可以考虑用随机数重复使用法降低估计的方差。

如果随机数重复使用，则

Var(\hat{\sigma^{2}_{1}}-\hat{\sigma^{2}_{2}})=Var(\hat{\sigma^{2}_{1}})+Var(\hat{\sigma^{2}_{2}})-2Cov(\hat{\sigma^{2}_{1}},\hat{\sigma^{2}_{2}})

如果每种方法使用不同的样本，则变成

Var(\hat{\sigma^{2}_{1}}-\hat{\sigma^{2}_{2}})=Var(\hat{\sigma^{2}_{1}})+Var(\hat{\sigma^{2}_{2}})

05减少方差的统计方法

ON THIS PAGE