이 글은 유튜브에 업로드된 강의 김성범[소장 / 인공지능 공학 연구소] 핵심 확률/통계를 보고 작성했다.
Chapter 02. Axiom of Probability[확률의 공리]
표본 공간[Sample space] : 실험에서 나온 모든 결과 집합
실험[Experiment] : 데이터를 생성하는 모든 과정
사건[Event] : Sample space에 부분 집합
Discrete Sample Space[이산형 표본공간]
이산형 표본 공간의 예는 다음과 같다.
- 동전 던지기 : $S=\{\text {앞}, \text{뒤}\} = \{Head, Tail\}$
- 주사위 던지기 : $S=\{1,2,3,4,5,6\}$
- 가게에 들어오는 손님 수 : $S = \{0,1,2,3,\dots , \infty \}$
Continuous Sample Space[연속형 표본공간]
연속형 표본 공간의 예는 다음과 같다.
- 0~130 사이의 값 : $S=\{x|0<x<130\}$
- 전구의 수명 : $S=\{x|0\leq x < \infty\}$
- 반지름이 2인 원의 둘레의 점들 : $S=\{(x,y)|x^2+y^2=4\}$
- 반지름이 2인 원 안의 점들 : $S=\{(x,y)|x^2+y^2<4\}$
Events[사건]
Event는 Sample space의 subset이다. [$E \subset S$]
즉, Event는 모든 요소가 Sample space에 있는 집합이다.
Event의 예시는 다음과 같다.
- 주사위를 던지고 홀수가 나오는 경우의 수 : $A=\{1,3,5\}$
Set Operations
- Intersection[교집합[ : $A\cap B=AB$
- Union[합집합] : $A\cup B$
- Complement[여집합] : $S-A,\quad A^c$
- 교환 법칙 : $E\cup F=F\cup E,\quad EF=FE$
- 결합 법칙 : $(E\cup F)\cup G=E\cup (F\cup G),\quad (EF)G=E(FG)$
- 분배 법칙
$$(E\cup F)G=(EG)\cup(FG)$$
$$(EF)\cup G=(E\cup G)(F\cup G)$$
- De Morgan's law
$$\left(\bigcup^n_{i=1}E_i\right)^c=\bigcap^n_{i=1}E^c_i,\quad (E\cup F)^c=E^c\cap F^c$$
$$\left(\bigcup^n_{i=1}E_i\right)^c=\bigcup^c_{i=1}E^c_i,\quad (E\cup F)^c=E^c\cap F^c$$
Mutually Exclusive[상호 배타]
$$E\cap F=EF=\varnothing$$
Axiom[공리]
증명이 필요없는 사실
- 모든 이벤트의 확률은 0과 1 사이 : $0\leq P(E)\leq 1$
- Sample space의 안의 모든 이벤트들의 합은 1이다. : $P(S)=1$
- 상호 배타적인 이벤트들의 합집합에 대한 확률은 각 이벤트들의 확률을 더한 것과 같다. 상호 배타적인 이벤트들이 있을 때 적어도 하나의 이벤트가 일어날 확률은 모든 이벤트들의 합으로 나타낼 수 있다.
$$E_i\cap E_j=\varnothing \quad\text{for all } i\neq j$$
$$P\left(\bigcup^{\infty}_{i=1}E_i\right)=\sum^{\infty}_{i=1}P(E_i)$$
Basic Properties of Probability
Proposition 1 : $P(E^c)=1-P(E)$
$$SE\cup E^c, \quad EE^c=\varnothing$$
$$P(S)=P(E)+P(E^c)=1$$
$$P(E^c)=1-P(E)$$
Proposition 2 : $\text{If }E\subset F\text{ then }P(e)\leq P(F)$$$F=E\cup FE^c, \quad E\cap FE^c=\varnothing$$$$P(F)=P(E)+P(FE^c)=P(E)+\text{양수}$$
Proposition 3 : $P(E\cup F)=P(E)+P(F)-P(EF)$
$$\text{proof : }P(E\cup F)=P(EF^c)+P(EF)+P(FE^c)$$
$$P(E)=P(EF^c)+P(EF)\rightarrow P(EF^c)=P(E)-P(EF)$$$$P(F)=P(FE)+P(FE^c)\rightarrow P(FE^c)=P(F)-P(EF)$$
$$\eqalign{P(E\cup F)&=P(E)-P(EF)+P(EF)+P(F)-P(EF) \\\ &=P(E)+P(F)-P(EF)}$$
위 공식은 inclusion-exclusion identity로 포함배제의 원리로 불린다.
Example
$P(L_1)=0.5, P(L_2)=0.4, P(L_1,L_2)=0.3$ 이와 같은 확률이 있을 때, $L_1,L_2$ 둘 다 아닐 확률$P(L_1^cL_2^c)$을 구하시오.$$\eqalign{P(L_1^cL_2^c)&=P((L_1\cup L_2)^c) \\\ &= 1-P(L_1\cup L_2) \\\ &=1-(P(L_1)+P(L_2)-P(L_1L_2))\\\ &= 1-(0.5+0.4-0.3) \\\ &= 0.4}$$
| Tennis : 36명 | Tennis & Soccer : 22명 |
| Soccer : 28명 | Tennis & Badminton : 12명 |
| Badminton : 18명 | Soccer & Badminton : 9명 |
| Tennis & Soccer & Badminton : 4명 | |
적어도 하나의 스포츠를 하는 사람의 확률은 위의 공리3을 이용한다.
적어도 하나의 이벤트가 일어날 확률은 모든 이벤트의 합 $P(T\cup S\cup B)$이며 이를 포함배제의 원리를 이용하여 해결.
$$\eqalign{P(T\cup S\cup B)&=P(T)+P(S)+P(B)-P(TS)-P(TB)-P(SB)+P(TSB) \\ &=\frac{43}{N}}$$
Equally Likely Outcome
표본 공간에 각각이 동일 한 확률일 떄를 의미한다.
birthday Problem
r명 중 2명이 같은 생일인 확률
- r명이 가질 수 있는 생일의 총경우의 수 :$365^r$
- 2명이 모두 다른 날인 경우의 수 : $365\cdot 362\cdot ,\dots (365-r+1)$
- 두 명이 같은 생일 인 확률은 $1 - (\text{같은 생일이 없는 경우의 수})$
- 따라서 같은 생일이 나올 확률은 $E = frac{365\cdot 362 ,\dots (365-r+1)}{365^r}$
- r = 23일 때 같은 생일이 나올 확률은 50.7%이며, r = 57 때 같이 나올 확률은 99%이다.
Matching Problem
3명이 자신이 박스에 넣어둔 자신의 모자를 꺼내지 못할 확률을 구하시오.
$$P(\{\text{모두 실패할 확률}\})=1-P(\{\text{적어도 한 명이 성공할 확률}\})$$
$E_i$ : $i$번째 사람이 성공할 확률
적어도 한명 자신의 것을 선택할 경우의 수는 $\bigcup^3_{i=1}E_i$
$$P\left(\bigcup^3_{i=1}E_i\right)=P(E_1\cup E_2\cup E_3)$$
포함배제원리
$$\eqalign{P(E_1\cup E_2\cup E_3) &= P(E_1)+P(E_2)+(E_3) \\ & -P(E_1E_2)-P(E_1E_3)-P(E_2E_3)\\ & +P(E_1E_2E_3)\\&=\frac{2!}{3!}+\frac{2!}{3!}+\frac{2!}{3!}+\frac{1!}{3!}+\frac{1!}{3!}+\frac{1!}{3!}+\frac{0!}{3!}\\\ &= \frac{2}{3}}$$
따라서 적어도 한 명이 자신의 모자를 선택할 확률은 2/3이다.
$$P(E_i)=\frac{(N-1)!}{N!}\rightarrow \left(\begin{array}{c}N\\1\end{array}\right)\text{개수만큼 발생}$$
$$P(E_iE_j)=\frac{(N_2)!}{N!}\rightarrow \left(\begin{array}{c}N\\2\end{array}\right)\text{개수만큼 발생}$$
$$\eqalign{P\left(\bigcup^N_{i=1}E_i\right) &= \binom{N}{1}\frac{(N-1)!}{N!}-\binom{N}{2}\frac{(N-2)!}{N!}+\dots+(-1)^{N+1}\binom{N}{N}\frac{(N-N)!}{N!}\\ &=\frac{N!}{(N-1)!1!}\frac{(N-1)!}{N!}-\frac{N!}{(N-2)!2!}\frac{(N-2)!}{N!}+\dots+(-1)^N\frac{1}{N!}\\&=\frac{1}{1!}-\frac{1}{2!}+\frac{1}{3!}-\dots+\frac{(-1)^{N+1}}{N!}}$$
$$\eqalign{1-P\left(\bigcup^N_{i=1}E_i\right)&=1-1+\frac{1}{2!}-\frac{1}{3!}+\dots+(-1)^{N+1}\frac{1}{N!}\\&=\sum_{i=0}^N\frac{(-1)^i}{i!}}$$
$$e^x=\sum^N_{i=0}\frac{x^i}{i!}$$
$$e^{-1}\approx 0.3678$$
