이 글은 유튜브에 업로드된 강의 김성범[소장 / 인공지능 공학 연구소] 핵심 확률/통계를 보고 작성했다.
합성곱 [Convolution]
- 두 개의 독립인 확률변수 $X, Y$의 합에 대한 확률 분포.
- $X+Y$의 누적 확률 함수
$$\begin{align}F_{X+Y}(a)=P\{X+Y < a\} &= \iint\limits_{X+Y<a} f_{XY}(x,y)dx dy \\ &= \iint\limits_{X+Y<a} f_X(x)f_Y(y)dxdy \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{a-y} f_X(x)f_Y(y) dxdy \\ &= \int_{-\infty}^{\infty} F_X(a-y)f_Y(y)dy\end{align}$$
- $X+Y$의 누적 확률 함수를 Convolution이라 하고, 위에서 구한 c.d.f을 미분한다.
$$\begin{align}f_{X+Y}(a) &= \frac{d}{da}\int_{-\infty}^{\infty}F_X(a-y)f_Y(y)dy \\ &= \int_{-\infty}^{\infty}\frac{a}{da}F_X(a-y)f_Y(y)dy \\ &= \int_{-\infty}^{\infty}f_X(a-y)f_Y(y)dy\end{align}$$
example)
- Uniform Distribution
$X,Y$가 독립이고 각각 uniform distribution (0,1)을 따른다. $X+Y$의 p.d.f는?
$$f_X(a)=f_Y(a)=\begin{cases}1 &\quad \text{if} 0\leq a\leq 1 \\ 0 &\quad \text{otherwise}\end{cases}$$
$$\begin{align} f_{X+Y}(a)&=\int_0^1f_X(a-y)f_Y(y)dy \\ &= \int_0^1f_X(a-y)dy \\ &= \int_a^{a-1}f_X(t)-dt \\ &= \int_{a-1}^a f_X(t)dt \quad \quad 0\leq t \leq 1 \end{align}$$
- $0\leq a\leq 1$
$$\int_0^a f_X(t)dt = [\text{ }t\text{ }]_0^a=a$$ - $1<a<2$
$$\int_{a-1}^1 f_X(t)dt = [\text{ }t\text{ }]_{a-1}^1 = 1-a+1 = 2-a$$
$X\sim \text{Unif}(0,1), \quad Y\sim\text{Unif}(0,1)$일 때, $X+Y$는?
$$\begin{align}f_{X+Y}(a)&=\int_0^1 f_X(a-y)dy \\ &= \begin{cases}\int_0^a dy=a &\quad 0\leq a\leq 1\\ \int_{a-1}^1 dy=2-a &\quad 1<a<2 \\ 0 &\quad \text{o.w}\end{cases} \end{align}$$
- Gamma Random Variables
$f_X(x;t,\lambda)=\frac{\lambda e^{-\lambda x}(\lambda x)^{t-1}}{\Gamma(t)}, \quad 0< x < \infty$
$X\sim \text{Gamma}(s,\lambda), \quad Y\sim \text{Gamma}(t,\lambda), \quad X+Y \sim \text{Gamma}(s+t, \lambda)$
확률 변수 $X_1, X_2, \cdots , X_n$ 서로 독립인 지수확률변수가 $(\lambda)$로 나타날 때, $X_1+X_2+\cdots+X_n$은 Gamma 확률 변수가 $(n, \lambda)$로 나타난다.
$$f_{X+Y}(a)=\int_{-\infty}^{\infty}f_X(a-y)f_Y(y)dy$$
$$f_X(x; t,\lambda)=\frac{\lambda e^{-\lambda x}(\lambda x)^{t-1}}{\Gamma (t)}$$
- if $n=1$
$$f_X(x ; 1,\lambda)=\frac{\lambda e^{-\lambda x}(\lambda x)^0}{\Gamma (1)}=\lambda e^{-\lambda x} \sim \text{exp}(\lambda)$$ - $Y=X_1+X_2+\cdots + X_{n-1} \quad Y\sim \text{Gamma}(n-1, \lambda), \quad X_n \sim \text{exp}(\lambda)$
$$\begin{align}f_{Y+X_n}(a) &= \int_0^a f_Y(a-x)f_{X_n}(x)dx \\ & \quad \vdots \\ &= \frac{\lambda e^{-\lambda a}(\lambda a)^{n-1}}{\Gamma (n)} \sim \text{Gamma}(n,\lambda)\end{align}$$
- Normal Random Variables
정규 분포의 Convolution은 다음과 같다.
$$\displaystyle\sum_{i=1}^{n}X_i \sim N\left(\sum_{i=1}^n\mu_i , \sum_{i=1}^n\sigma_i^2 \right)$$
- Poisson Random Variables
$$X\sim \text{Poisson}(\lambda_1), \quad Y\sim \text{Poisson}(\lambda_2), \quad X+Y \sim \text{Poisson}(\lambda_1+\lambda_2)$$
- Binominal Random Variables
$$X\sim \text{Bino}(n,p), \quad Y\sim \text{Bino}(m,p), \quad X+Y\sim \text{Bino}(n+m, p)$$
