Бајесова теорема је појам из вероватноће, који се користи при рачуну са условљеном вероватноћом. Име је добио по математичару Томасу Бајесу (Thomas Bayes). Она описује вероватноћу догађаја, на основу претходног знања о условима који би могли бити повезани са догађајем.^[1] На пример, ако је познато да се ризик од развоја здравствених проблема повећава са годинама, Бајесова теорема омогућава да се ризик за особу познатог узраста прецизније процени условљавањем у односу на старост испитаника, уместо да се једноставно претпостави да појединац типичан је за популацију у целини.

Једна од многих примена Бајесове теореме је Бајесово закључивање, посебан приступ статистичком закључивању. Када се примењују, вероватноће укључене у теорему могу имати различите интерпретације вероватноће. Са Бајесовом интерпретацијом вероватноће, теорема изражава како степен веровања, изражен као вероватноћа, треба рационално да се промени да би се узела у обзир доступност повезаних доказа. Бајесов закључак је фундаменталан за Бајесову статистику, а један ауторитет сматра да је за „теорију вероватноће оно што је Питагорина теорема за геометрију.“^[2]

Бајесова теорема је добила име по велечасном Томасу Бајесу (/beɪz/), такође статистичару и филозофу. Бајес је користио условну вероватноћу да обезбеди алгоритам (његова тврдња 9) који користи доказе за израчунавање ограничења за непознати параметар. Његов рад је објављен 1763. као Есеј ка решавању проблема у доктрини шанси. Бајес је проучавао како да се израчуна дистрибуција за параметар вероватноће биномске расподеле (у модерној терминологији). Након Бајесове смрти, његова породица је пренела његове папире пријатељу, министру, филозофу и математичару Ричарду Прајсу.

Током две године, Ричард Прајс је значајно уредио необјављени рукопис, пре него што га је послао пријатељу који га је наглас прочитао у Краљевском друштву 23. децембра 1763. године.^[3] Прајс је уредио^[4] Бајесово главно дело „Есеј ка решавању проблема у доктрини шанси“ (1763), које се појавило у Филозофским трансакцијама^[5] и садржи Бајесову теорему. Прајс је написао увод у рад који пружа неке од филозофских основа Бајесове статистике и одабрао једно од два Бајесова решења. Године 1765, Прајс је изабран за члана Краљевског друштва као признање за његов рад на Бајесовом наслеђу.^[6][7] Писмо послато његовом пријатељу Бенџамину Френклину је 27. априла прочитано у Краљевском друштву, а касније и објављено, где Прајс примењује ово дело на становништво и израчунавање 'животних ануитета'.^[8]

Независно од Бајеса, Пјер-Симон Лаплас је 1774. године, и касније у свом делу из 1812. године Аналитичка теорија вероватноће, користио условну вероватноћу да формулише однос ажуриране постериорне вероватноће из претходне вероватноће, датих доказа. Он је репродуковао и проширио Бајесове резултате 1774. године, очигледно несвестан Бајесовог рада.^{[note 1][9]} Бајесову интерпретацију вероватноће развио је углавном Лаплас.^[10]

Отприлике 200 година касније, сер Харолд Џефрис је Бајесов алгоритам и Лапласову формулацију ставио на аксиоматску основу, написавши у књизи из 1973. да је Бајесова теорема „за теорију вероватноће оно што је Питагорина теорема за геометрију“.^[11]

Стивен Стиглер је користио Бајесов аргумент да закључи да је Бајесову теорему открио Николас Саундерсон, слепи енглески математичар, нешто пре Бајеса;^[12][13] то тумачење је, међутим, спорно.^[14] Мартин Хупер^[15] и Шарон Макгејн^[16] су тврдили да је допринос Ричарда Прајса био значајан:

Према савременим стандардима, требало би да се позовемо на Бајес–Пријсово правило. Прајс је открио Бајесов рад, препознао његову важност, исправио га, допринео чланку и нашао му употребу. Модерна конвенција употребе само Бајесовог имена је неправедна, али је толико укорењена да било шта друго нема смисла.^[16]

За коначно много дисјунктних случајева A_i, i = 1, ..., N, Бајесова теорема, односно формула гласи:^[17][18]

Бајесова формула у општем случају ${\displaystyle P(A_{i}|B)\;=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}}=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{P(B)}}\;}$

Доказ

Према дефиницији условне вероватноће имамо:

${\displaystyle P(A_{i}\mid B)={\frac {P(A_{i}\cap B)}{P(B)}}={\frac {P(A_{i})P(B\mid A_{i})}{P(B)}}}$

Даље, користећи правило потпуне вероватноће:

${\displaystyle P(B)\;=\;\sum _{j=1}^{N}P(A_{j}\cap B)\;=\;{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}}$

Заменом у први израз се директно добија Бајесова формула. Крај доказа.^[17][18]

Бајесова формула за два случаја

Када имамо два случаја A и B, формула се своди на:

${\displaystyle P(A|B)\;=\;{\frac {P(B|A)\cdot P(A)}{P(B)}}}$

Где је

P(A) вероватноћа случаја A

A) вероватноћа случаја B под условом да се A догоди

P(B) вероватноћа случаја B

Цела производња у фабрици се одвија на три машине. Три машине чине редом 20%, 30% и 50% фабричке производње. Удио произведеног шкарта(неисправних производа) за прву машину износи 5%; 3% за другу машину; и 1% за трећу машину. Ако је случајно одабран производ неисправан, која је вероватноћа да је произведен од стране треће машине?

До одговора се може доћи без кориштења формуле примјеном услова на било који хипотетички број случајева. На пример, ако фабрика произведе 100.000 призвода, 20.000 ће бити произведено на машини A, 30.000 по машини B и 50.000 по машини C. Машина A ће произвести 1000 неисправних производа, машина B 900 и машина C 500. укупно 2400 неисправних предмета, само 500, или 5/24 произведено је на машини C.

Решење је следеће, нека X_i означава догађај да је случајно изабрани производ направила i ^та машина (за i = A,B,C). Нека Y означава догађај да је случајно изабрани производ неистраван. Па имамо следеће информације:

${\displaystyle P(X_{A})=0.2,\quad P(X_{B})=0.3,\quad P(X_{C})=0.5.}$

Ако је призвод направљен на првој машини, онда је вероватноћа да је неисправан 0.05; то јест, P(Y | X_A) = 0.05. Свеукупно имамо:

${\displaystyle P(Y\mid X_{A})=0.05,\quad P(Y\mid X_{B})=0.03,\quad P(Y\mid X_{C})=0.01.}$

Да бисмо одговорили на почетно питање, прво пронађемо P(Y). То можемо урадити на следећи начин:

${\displaystyle P(Y)=\sum _{i}P(Y\mid X_{i})P(X_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024.}$

Стога је 2,4% укупне производње фабрике неисправно.

Нама је дато да се Y десило, и треба да израчунамо условну вероватноћу од X_C. По Бајесовој теореми,

${\displaystyle P(X_{C}\mid Y)={\frac {P(Y\mid X_{C})P(X_{C})}{P(Y)}}={\frac {0.01\cdot 0.50}{0.024}}={\frac {5}{24}}}$

С обзиром на то да је предмет неисправан, вероватноћа да је направљен на трећој машини је само 5/24. Иако машина C производи половину укупне производње, она производи много мање неисправних призвода. Отуда пошто знамо да је изабрани призвод неисправан, можемо онда да заменимо претходну вероватноћу P(X_C) = 1/2 са мањом вероватноћом P(X_C | Y) = 5/24.

• Вероватноћа
• Теорија вероватноће
• Условна вероватноћа
• Теорема потпуне вероватноће

Бајесова теорема на Викимедијиној остави.

• Bayes' theorem на сајту Енциклопедија Британика
• The Theory That Would Not Die by Sharon Bertsch McGrayne New York Times Book Review by John Allen Paulos on 5 August 2011
• Visual explanation of Bayes using trees (video)
• Bayes' frequentist interpretation explained visually (video)
• Earliest Known Uses of Some of the Words of Mathematics (B). Contains origins of "Bayesian," "Bayes' Theorem," "Bayes Estimate/Risk/Solution," "Empirical Bayes," and "Bayes Factor."
• Weisstein, Eric W. „Bayes' Theorem”. MathWorld. 
• Bayes' theorem at PlanetMath.org.
• Bayes Theorem and the Folly of Prediction
• A tutorial on probability and Bayes' theorem devised for Oxford University psychology students
• An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky