概率卷积公式

Lingfeng2024-03-29

概率卷积公式

在概率论问题中, 我们常常会遇到已知多个随机变量的概率密度, 而随机变量通过函数关系构成一个新的随机变量, 求这个新随机变量的概率密度的问题. 下面的卷积公式给出了一个比较方便的解答, 当然这里是针对二元情况, 多元情况是类似的.

1. 卷积公式

设 $(X, Y)$ 为二维连续性随机变量, 概率密度为 $f(x, y)$ , 则 $Z = X+Y$ 仍为连续性随机变量, 其概率密度为

f_{Z}(z) = \int_{-\infty}^{\infty} f(x, z-x) \, dx

或者

f_{Z}(z) = \int_{-\infty}^{\infty} f(z-y, y) \, dy

特别地, 当

X

与

Y

相互独立时, 设

(X, Y)

关于

X

Y

的边际概率密度分别为

f_{X}(x)

f_{Y}(y)

, 此时有

f_{Z} = \int_{-\infty}^{\infty} f_{X}(x)f_{Y}(z-x) \, dx = \int_{-\infty}^{\infty} f_{X}(z-y)f_{Y}(y) \, dy

此时我们称这两个公式为

f_{X}

与

f_{Y}

的卷积公式, 记为

f_{X} * f_{Y}

证明
设 $Z$ 的分布函数为 $F_{Z}(z)$ , 此时有

F_{Z}(z) = P(Z < z) = \iint_{D} f(x, y)\, dxdy

积分区域为

D = \{ (x, y) \mid x+y < z\}

, 我们采用二重积分换元法来证明这个问题. 即设

\begin{align*} u &= x \\ v &= x+y \end{align*}

即

\begin{align*} x &= u \\ y &= v-u \end{align*}

此时积分区域变为

D' = \{(u, v) \mid -\infty < u < +\infty, v < z \}

, 其对应雅可比式为

\frac{ \partial (x, y) }{ \partial (u, v)} = \left | \begin{matrix} \frac{ \partial x }{ \partial u } & \frac{ \partial x }{ \partial v } \\ \frac{ \partial y }{ \partial u } & \frac{ \partial y }{ \partial v } \end{matrix} \right | = \left | \begin{matrix} 1 & 0 \\ -1 & 1 \end{matrix} \right | = 1

因此

F_{Z}(z) = \iint_{D'} f(u, v-u) \left\lvert \frac{ \partial (x, y) }{ \partial (u, v) } \right\rvert \, dudv = \int_{-\infty}^{z} \left( \int_{-\infty}^{\infty} f(u, v-u) \, du \right) \, dv

故可求出

Z

概率密度为

f_{Z}(z) = \frac{dF_{Z}(z)}{dz} = \int_{-\infty}^{\infty} f(u, z-u) \, du = \int_{-\infty}^{\infty} f(x, z-x) \, dx

事实上, 我们可以借助概率密度变换公式来更简洁地解决这个问题.

类似于上面的证明, 我们额外引入一个随机变量, 使得前后随机变量个数相同, 即设

\begin{align*} W &= X \\ Z &= X +Y \end{align*}

此时有

\begin{align*} X &= W \\ Y &= Z - W \end{align*}

雅可比式为

\frac{ \partial (x, y) }{ \partial (w, z) } = \left | \begin{matrix} 1 & 0 \\ -1 & 1\end{matrix} \right | = 1

因此我们可以直接写出联合密度公式

g(w,z) = f(x, y)\left\lvert \frac{ \partial (x, y) }{ \partial (w, z) } \right\rvert =f(w, z-w)

因此随机变量

Z

的边缘概率密度为

g(z) = \int_{-\infty}^{\infty} f(w, z-w) \, dw =\int_{-\infty}^{\infty} f(x, z-x) \, dx

值得一提的是, 这种引入额外变量, 使得前后变量个数(维数)相同的技巧是比较常见而深刻的. 另一个经典的例子是处理斐波那契数列

a_{n} = a_{n-1} + a_{n-2}

我们也可以引入额外的相等变量, 即化为

\begin{pmatrix} a_{n} \\ a_{n-1} \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & 0 \end{pmatrix}\begin{pmatrix} a_{n-1} \\ a_{n-2} \end{pmatrix}

此时求递推的关系转化成了矩阵的幂的形式, 即

\begin{pmatrix} a_{n} \\ a_{n-1} \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & 0 \end{pmatrix}^{2}\begin{pmatrix} a_{n-2} \\ a_{n-3} \end{pmatrix} = \dots = \begin{pmatrix} 1 & 1 \\ 1 & 0 \end{pmatrix}^{n-2}\begin{pmatrix} a_{2} \\ a_{1} \end{pmatrix}

此时问题转化为只需求解矩阵

\begin{pmatrix}1 & 1 \\ 1 & 0\end{pmatrix}^{n-2}

即可.

2. 广义卷积公式

更一般地, 设 $Z=z(X,Y)$ , 且有 $X = x(Y,Z)$ , $Y=y(Z, X)$ , 此时 $Z$ 的概率密度可表示为

f_{Z}(z) = \int_{-\infty}^{\infty} f(x, y(z, x)) \left\lvert \frac{ \partial( y(z, x) )}{ \partial z } \right\rvert \, dx = \int_{-\infty}^{\infty} f(x(y, z), y) \left\lvert \frac{ \partial x(y, z) }{ \partial z } \right\rvert \, dy

证明
证明是类似的. 我们同样引入

\begin{align*} W &= X \\ Z &= z(X, Y) \end{align*}

此时有

\begin{align*} X &= W \\ Y &= y(W, Z) \end{align*}

雅可比式为

\frac{ \partial (x,y) }{ \partial (w,z) } =\left | \begin{matrix} 1 & 0 \\ \frac{ \partial y }{ \partial w } & \frac{ \partial y }{ \partial z } \end{matrix} \right | =\frac{ \partial y }{ \partial z }

因此联合概率密度为

g(w, z) = f(x, y)\left\lvert \frac{ \partial (x,y) }{ \partial (w,z) } \right\rvert =f(w, y(w,z))\left\lvert \frac{ \partial y }{ \partial z } \right\rvert

故

Z

边缘概率密度为

g(z) = \int_{-\infty}^{\infty} f(w, y(w, z))\left\lvert \frac{ \partial y }{ \partial z } \right\rvert \, dw =\int_{-\infty}^{\infty} f(x, y(x, z)) \left\lvert \frac{ \partial (y(z,x)) }{ \partial z } \right\rvert \, dx

下面给出一些常见的变换形式.

当 $Z = aX+bY$ 时, 有

f_{Z}(z) = \int_{-\infty}^{\infty} f\left( x, \frac{z-ax}{b} \right) \frac{1}{\lvert b \rvert }\, dx =\int_{-\infty}^{\infty} f\left( \frac{z-by}{a}, y \right) \frac{1}{\lvert a \rvert }\, dy

当

Z = \frac{Y}{X}

时, 有

f_{Z}(z) = \int_{-\infty}^{\infty} f(x, zx) \lvert x \rvert \, dx = \int_{-\infty}^{\infty} f\left( \frac{y}{z}, y \right) \frac{\lvert y \rvert }{z^{2}}\, dy

当

Z=XY

时, 有

f_{Z}(z) = \int_{-\infty}^{\infty} f\left( x, \frac{z}{x} \right) \frac{1}{\lvert x \rvert }\, dx =\int_{-\infty}^{\infty} f\left( \frac{z}{y}, y \right) \frac{1}{\lvert y \rvert }\, dy

概率卷积公式

概率卷积公式

1. 卷积公式

2. 广义卷积公式

ON THIS PAGE