통계학 시리즈의 일부
확률론
확률 공리 결정론 시스템 비결정론 무작위성
확률공간 표본공간 사건 전체 포괄 사건 근원사건 상호 배타성 결과 한원소 시행 베르누이 시행 확률분포 베르누이 분포 이항분포 정규분포 확률 측도 확률변수 베르누이 과정 연속/이산 기댓값 마르코프 연쇄 관측값 무작위 행보 확률과정
여사건 결합 확률 주변 확률 조건부 확률
독립 조건부 독립 전체 확률의 법칙 큰 수의 법칙 베이즈 정리 불의 부등식
벤 다이어그램 트리 다이어그램
v t e

확률론과 통계학에서 베이즈 정리(영어: Bayes’ theorem)는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다. 베이즈 확률론 해석에 따르면 베이즈 정리는 사전확률로부터 사후확률을 구할 수 있다.^[1]

베이즈 정리는 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 중요하게 이용된다. 특히, 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할 때 유용하게 사용된다. 전통적인 확률이 연역적 추론에 기반을 두고 있다면 베이즈 정리는 확률임에도 귀납적, 경험적인 추론을 사용한다.^[2]

확률공간 ${\displaystyle (P,\Pr )}$ 속에서 ${\displaystyle A,B\subset P}$가 가측 집합이라고 하고, ${\displaystyle \Pr(B)>0}$이라고 하자. 그렇다면, 베이즈 정리에 따라 다음이 성립한다.

${\displaystyle \Pr(A|B)={\frac {\Pr(B|A)\Pr(A)}{\Pr(B)}}\propto {\mathcal {L}}(A|B)\Pr(A)}$

각각의 항은 다음과 같은 의미를 갖는다.

• ${\displaystyle \Pr(A)}$는 A의 사전 확률로, 아직 사건 B에 관한 어떠한 정보도 알지 못하는 것을 의미한다.
• ${\displaystyle \Pr(A|B)}$는 B의 값이 주어진 경우에 대한 A의 사후 확률이다.
• ${\displaystyle \Pr(B|A)}$는 A가 주어졌을 때 B의 조건부 확률이다.
• ${\displaystyle {\mathcal {L}}(A|B)=\Pr(B|A)}$는 ${\displaystyle B}$가 주어졌을 때 ${\displaystyle A}$의 가능도이다.
• ${\displaystyle \Pr(B)}$는 B의 사전 확률이며, 정규화 상수의 역할을 한다. 이 값은 ${\displaystyle \Pr(B)=\int _{A}\Pr(B|A)}$를 이용하여 구할 수 있다.

이때 ${\displaystyle A}$는 불확실성을 계산해야 하는 대상이며, ${\displaystyle B}$는 관측하여 값을 알아낼 수 있는 대상으로 생각한다면, ${\displaystyle A}$의 확률은 ${\displaystyle B}$가 관측된 후 ${\displaystyle P(A)}$에서 ${\displaystyle P(A|B)}$로 변화하며, 베이즈 정리는 이 때의 변화를 계산하는 방법을 제공한다.

• 조건부 확률

${\displaystyle P(A|B)={\frac {P(B\cap A)}{P(B)}}}$

• 곱셈 공식

P(A∩B) = P(A|B)P(B) = P(B∩A) = P(B|A)P(A)

A와 B가 독립시행일 경우 P(A∩B) = P(A)*P(B)

• 전체 확률의 법칙

P(B) = P(B∩A)

= P(B∩A₁) + P(B∩A₂)

= P(B|A₁)P(A₁) + P(B|A₂)P(A₂)

• 베이즈 정리

${\displaystyle P(A_{1}|B)={\frac {P(B\cap A_{1})}{P(B)}}}$

= ${\displaystyle {\frac {P(B|A_{1})P(A_{1})}{P(B)}}}$

= ${\displaystyle {\frac {P(B|A_{1})P(A_{1})}{P(B|A_{1})P(A_{1})+P(B|A_{2})P(A_{2})}}}$

토머스 베이즈의 원고에 최초로 등장하였고, 이는 리처드 프라이스가 베이즈의 사후 1763년에 〈확률론의 한 문제에 대한 에세이〉(영어: An Essay towards solving a Problem in the Doctrine of Chances)라는 제목으로 출판하였다.^[3] 이후 피에르시몽 라플라스는 같은 정리를 1774년에 재발견하였고 1812년에 수식화하였다.^[4][5]

• 베이즈 추론
• 베이즈 네트워크
• 토머스 베이즈
• 경험적 베이즈 방법
• 몬티 홀 문제
• 오컴의 면도날
• 집행자의 오류
• 까마귀의 역설
• 재귀적 베이즈 추정
• 베이즈 통계학

• Berger, James (1985). 《Statistical decision theory and Bayesian analysis》. Springer Series in Statistics (영어) Seco판. Springer-Verlag. ISBN 0-387-96098-8. 
• Bessière, Pierre; Mazer, E., Ahuacatzin, J-M, Mekhnacha, K. (2013). 《Bayesian programming》 (영어). CRC Press. ISBN 9781439880326.  CS1 관리 - 여러 이름 (링크)
• Bernardo, José M.; Adrian F. M. Smith (1994). 《Bayesian theory》 (영어). Wiley. ISBN 0-471-49464-X. 
• Howson, C.; P. Urbach (2005). 《Scientific reasoning: the Bayesian approach》 (영어) 3판. Open Court Publishing Company. ISBN 978-0-8126-9578-6.  CS1 관리 - 추가 문구 (링크)
• Winkler, Robert L (2003). 《Introduction to Bayesian inference and decision》 (영어) 2판. Probabilistic. ISBN 0-9647938-4-9.  CS1 관리 - 추가 문구 (링크)

• Shiryaev, A.N. (2001). “Bayes formula”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4. 
• Weisstein, Eric Wolfgang. “Bayes' theorem”. 《Wolfram MathWorld》 (영어). Wolfram Research.