İstatistik dizisinin bir parçası
Olasılık teorisi
Olasılık Aksiyomlar Determinizm Sistem Belirlenimsizlik Rastgelelik
Olasılık uzayı Örnek uzayı Olay Birlikte kapsayıcı olaylar Temel olay Karşılıklı dışarlayan Sonuç Tek nesne Deney Bernoulli deneyi Olasılık dağılımı Bernoulli dağılımı Binom dağılımı Normal dağılım Olasılık ölçümü Rassal değişken Bernoulli denemesi Sürekli veya kesikli Beklenen değer Markov zinciri Gözlemlenen değer Rastgele yürüyüş Stokastik süreç
Tümleyen olay Ortak olasılık Marjinal olasılık Koşullu olasılık
Bağımsızlık Koşullu bağımsızlık Toplam olasılık yasası Büyük sayılar yasası Bayes teoremi Boole eşitsizliği
Venn şeması Ağaç şeması
g t d

Olasılık teorisi ya da ihtimaliyet teorisi rastgele olayların analizi ile ilgilenen bir matematik bilim dalıdır.^[1] Olasılık teorisinin ana ögeleri rassal değişkenler, saf rassal süreçler, olaylar olarak sayılabilir. Bunlar ya tek olarak ortaya çıkan veya bir zaman dönemi içinde gelişerek meydana gelen, ilk görünüşü rastgele bir şekilde olan deterministik olmayan olayların veya ölçülebilir miktarların matematiksel soyutlamalarıdır. Bir madeni parayı yazı-tura denemesi için havaya atmak veya bir zarı atmak ile ortaya çıkan sonuç ilk bakışta rastgele bir olay olarak görülebilirse bile eğer birbirini takip eden rastgele olaylar tekrar tekrar ortaya çıkartılırsa incelenebilecek ve tahmin edilebilecek belirli bir istatistiksel seyir takip ettikleri görülecektir. Bu türlü olaylar ve sonuçların seyirlerini betimleyen iki temsilci matematiksel sonuç büyük sayılar yasası ve merkezsel limit teoremidir.

İstatistik bilim dalının matematiksel temelini oluşturan olasılık teorisi, büyük veri serilerinin niceliksel analizini gerektiren birçok insan faaliyetinin incelenebilmesi ve anlaşılabilmesi için gereken temel esasları oluşturur. Bunun yanında, olasılık teorisinin yöntemleri, durumları hakkında sadece kısımsal bilgimiz olabilecek karmaşık sistemlerin tanımlanmasına da uygulanabilir. Örneğin; İstatistiksel Mekanik. Yirminci yüzyılda fizik biliminde en büyük buluşlardan biri, atomik düzeyde fiziksel olayların tabiatının olasılıklı olduğu ve bunların kuantum mekanik bilgisi ile açıklanıp, incelenip, kullanılabileceğidir.

Bilinen en eski olasılık ve istatistik hesaplamaları, 8 ve 13. yüzyıllar arasında kriptografi üzerine çalışan Arap matematikçiler tarafından geliştirilmiştir. Halil ibn Ahmed el-Ferahidi (717-786) sesli ve sessiz harflerle olası tüm Arapça kelimeleri listelemek için tarihte ilk defa permütasyon ve kombinasyonun kullanıldığı Şifreleme Mesajları Kitabı'nı yazmıştır. Kindî (801-873), kriptanaliz ve frekans analizi konusundaki çalışmalarında bilinen en erken istatistiksel çıkarımlarda bulunmuştur. İbn Adlan (1187-1268) ise frekans analizi kullanımı için örneklem büyüklüğü üzerine çalışmalar yapmıştır.^[2]

Matematiksel olasılık teorisinin tarihsel kökleri 16. yüzyılda Gerolamo Cardano ve 17. yüzyılda Pierre de Fermat ile Blaise Pascal tarafından yapılan şans oyunlarının matematiksel incelemelerine dayanır.

Başlangıçta, olasılık teorisi genellikle ayrık olayları incelemek için geliştirilmiş ve kullanılan yöntemler genellikle tümleşik matematik kurallarına dayandırılmıştır. Fakat giderek matematik analiz görüşleri daha ağır basarak olasılık teorisine sürekli değişkenlerin incelenmesinin de katılması gerektirmiştir. Bu gelişmenin şu andaki en son aşamasının temelleri, Andrey Nikolaevich Kolmogorov tarafından, ölçüm teorisina bağlantılı olan modern olasılık teorisi olarak ortaya çıkartılmıştır. Kolmogorov, Richard von Mises tarafından ortaya atılan örnek uzay kavramlarını ölçüm teorisi kavramları ile birleştirerek 1933'te modern olasılık teorisi için esas olan Kolmogorov aksiyomlarını ortaya atmıştır. Bu gelişme bilim camiası tarafından çabucak, hiç karşı çıkan kuram olmadan, modern olasılık teorisinin ana aksiyom sistemi olarak benimsenmiştir.^[3]

Olasılık teorisine girişlerin çoğunda, ayrık olasılık dağılımları ve sürekli olasılık dağılımları ayrı ayrı olarak incelemeye alınmaktadır. Halbuki olasılığın daha ileri matematiksel yaklaşımla incelenmesinin, hem ayrık, hem sürekli ve hem de bunların karışığı ve daha ilerisinde olan dağılımların hep birlikte yapılmasını gerektirmektedir.

Ayrık olasılık teorisi sayılabilir örneklem uzayında ortaya çıkan olayları inceler. Örneğin: Zar atılması, küp deneyleri, iskambil kartlarını çekmek veya rastgele yürüyüş olayları.

Klasik tanım: Olasılık teorisi geliştirilmesinin ilk safhalarında, belirtilmiş bir olay ortaya çıkması için olasılık, her mümkün sonucu eşit olasılıklı olan örneklem uzayında incelendiği kabul edilmiş ve incelenen olaya uygun sonuç sayısının toplam tüm sonuçlar sayısına oranı olarak tanımlanmıştı. Örneğin, incelenecek sorun "tek bir zar atılınca çift sayıların gelme olasılığı nedir" şeklinde sorulursun. Zar yansız olup her altı yüzü de eşit olasılıkla gelebileceği için, 2, 4, 6 sonuçları 3 tane olduğu ve toplam mümkün sonuç sayısı 6 yüze dayanarak 6 olduğu için, aranan olasılık

P( 2 veya 4 veya 6 ) = ${\displaystyle {\tfrac {3}{6}}={\tfrac {1}{2}}}$

olarak bulunur.

Modern tanım: Modern tanıma örneklem uzayı adı verilen bir küme ile başlanır; bu klasik tanımda kullanılan mümkün tüm sonuçlar seti ile aynı anlamlıdır; ve şu notasyon kullanılarak ifade edilir: ${\displaystyle \Omega =\left\{x_{1},x_{2},\dots \right\}}$. Sonra, ${\displaystyle x\in \Omega \,}$ içinde bulunan her matematiksel elemana bir olasılık değeri ${\displaystyle f(x)\,}$ bağlı olduğu varsayılır ve bu olasılık değerinde şu özelliklerin bulunduğu kabul edilir:

1. ${\displaystyle f(x)\in [0,1]{\mbox{ butun }}x\in \Omega \,;}$
2. ${\displaystyle \sum _{x\in \Omega }f(x)=1\,.}$

Bu demektir ki olasılık fonksiyonu olan f(x) Ω örneklem uzayında bulunan her x değeri için 0 ile 1 arasında bulunmaktadır ve x için tüm mümkün değerler için f(x) değerlerinin toplamı tama tam (1'e) eşit olur. Bir olay ${\displaystyle \Omega \,}$ örneklem uzayının herhangi bir ${\displaystyle E\,}$ altseti olarak tanımlanır. ${\displaystyle E\,}$ olayının 'olasılık değeri ise şöyle tanımlanır:

${\displaystyle P(E)=\sum _{x\in E}f(x)\,.}$

Buna göre tüm örneklem uzayının olasılığı 1e eşittir ve boş örneklem uzayı veya 0 olay için de olasılık 0a eşit olur.

Örnekleme uzayındaki bir noktayı "olasılık" değerine eşleyen fonksiyona, yani ${\displaystyle f(x)\,}$ fonksiyonuna, olasılık kütle fonksiyonu adı verilir. Modern tanım olasılık kütle fonksiyonunun nasıl ortaya çıktığını açıklayan bir kuram yaratmaz; sadece bu fonksiyonların varolduğunu kabul eden bir kuram ortaya çıkartır.

Sürekli olasılık teorisi sürekli örneklem uzayında ortaya çıkan olayları inceler.

Klasik tanım: Sürekli olasılık hâlleri ile karşılaşınca klasik tanım geçerli olmaz. Bernard'in paradoksu maddesine bakin.

Modern tanım: Eğer örneklem uzayı reel sayılardan oluşursa (yani ${\displaystyle \mathbb {R} }$), yığmalı dağılım fonksiyonu adı verilen bir fonsksiyonun var olduğu kabul edilir; bu bir rassal değişken olan X için P(X\le x) = F(x)\,</math> ifadesini gösterir yani P(X\le x) = F(x)\,</math> rassal değişkenin X x sayı değerine eşit veya xden daha düşük olması hâlindeki olasılığı gösterir.

Yığmalı dağılım fonksiyonu şu özellikleri göstermelidir:

1. ${\displaystyle F\,}$ monotonik azalma göstermeyen, sağda-sürekli bir fonksiyondur;
2. ${\displaystyle \lim _{x\rightarrow -\infty }F(x)=0\,;}$
3. ${\displaystyle \lim _{x\rightarrow \infty }F(x)=1\,.}$

Eğer ${\displaystyle F\,}$ fonksiyonun türevi alınabilirse, rassal değişken X için bir olasılık yoğunluk fonksiyonu

${\displaystyle f(x)={\frac {dF(x)}{dx}}\,.}$

bulunur.

${\displaystyle E\subseteq \mathbb {R} }$ seti için, rassal değişken Xin ${\displaystyle E\,}$ seti içinde bulunma olasılığı şöyle tanımlanır:

${\displaystyle P(X\in E)=\int _{x\in E}dF(x)\,.}$

Eğer bir olasılık yoğunluk fonksiyonu var ise, bu şöyle ifade edilebilir:

${\displaystyle P(X\in E)=\int _{x\in E}f(x)\,dx\,.}$

Olasılık yoğunluk fonksiyonu sadece sürekli rassal değişkenler için var olmakta ise de, yığmalı dağılım fonksiyonu ${\displaystyle \mathbb {R} \,.}$ içinde değerleri olan (aralıklı rassal değişkenler dahil) tüm rassal değişken için mevcut bulunmaktadır.

Bu kavramlar ${\displaystyle \mathbb {R} ^{n}}$ ve diğer sürekli örneklem uzayları için çoklu boyutlu hâllere de genelleştirilmiştir.

Modern olasılık teorisi yaklaşımı ölçüm teorisi kullanılması suretiyle yapılmakta ve bu kuram olasılık uzayında Kolmogorov aksiyomlarına dayandırılmaktadır. Olasılık uzayı üç kısımdan oluşmuştur. Olasılığın bu ölçüm teorisine göre uygulanmasının esas nedeni bu teorisin ayrık ve sürekli değişkenleri birlikte ele alabilmesinden ve aralarındaki farkları kullanılan ölçü ile açıklamasındandır. Bundan başka saf ayrık veya saf sürekli dağılımlar yanında bu iki kategoriye tam uymayan dağılımları da inceleme imkânı sağlamaktadır.

Herhangi bir set ${\displaystyle \Omega }$ verilsin ve bu örneklem uzayı olarak da anılmaktadır. Bu set üzerinde bir sigma-cebiri ile ${\displaystyle {\mathcal {F}}\,}$ bulunsun; bir ölçüm ${\displaystyle P}$nin bir olasılık ölçümü olarak adlandırması ancak ve ancak şu koşullar altında mümkün olur:

1. ${\displaystyle P\,}$ non-negatifdir;
2. ${\displaystyle P(\Omega )=1\,.}$

Eğer ${\displaystyle {\mathcal {F}}\,}$ bir Borel σ-cebiri ise o hâlde herhangi bir yığmalı dağılım fonksiyonu ${\displaystyle {\mathcal {F}}\,}$ üzerinde tek ve tek bir olasılık ölçümü bulunur ve bunun aksi önerim de doğrudur. Bu ölçüm ayrık değişkenler için olasılık kütle fonksiyonu ve sürekli değişkenler için olasılık yoğunluk fonksiyonu ile çakışmaktadır ve böylece ölçüm teorisine bağlı yaklaşım yanıltıcı mantıktan uzaklaştırmaktadır.

σ-cebiri ${\displaystyle {\mathcal {F}}\,}$ içinde ${\displaystyle E\,}$ seti için olasılık şöyle tanımlanır:

${\displaystyle P(X\in E)=\int _{x\in E}dF(x)\,.}$

Burada entegrasyon ${\displaystyle F\,}$ tarafından ortaya çıkartılan ölçüye göredir.

Belirli bir olay A için olasılık ${\displaystyle \textstyle \mathbb {P} (A)}$ 0 ile 1 arasında değişen bir sayı ile temsil edilir. Hiç olanaksız bir olay için olasılık 0 olur ve kesinlikle olacak bir olayın olasılığı 1 olur. Bazı istatistikçiler bu uçsal olasılık değerlerinin sadece teorik olduğunu iddia etmektedirler çünkü kabul ettikleri olasılık açıklaması deneylemelerle limitte göresel çokluluk (relatif frekans) değerine dayanır. Diğer Bayes-tipi, özellikle subjektif, olasılık açıklamasına göre bu uçsal olasılık değerlerini sübjektif olarak düşünmek ve olaylara bu değerleri koymak imkân dahilindedir.

Bazı temel özellikler

Olay	Olasılık
A olayı olması için olasılık	${\displaystyle \mathbb {P} (A)\in [0,1]\,}$
A olayı olmaması için olasılık	${\displaystyle \mathbb {P} (A^{c})=1-\mathbb {P} (A)\,}$
A veya B olması için olasılık	${\displaystyle {\begin{aligned}\mathbb {P} (A\cup B)&=\mathbb {P} (A)+\mathbb {P} (B)-\mathbb {P} (A\cap B)\\\end{aligned}}}$
A ve B olması için olasılık	${\displaystyle {\begin{aligned}\mathbb {P} (A\cap B)&=\mathbb {P} (A|B)\mathbb {P} (B)\\&=\mathbb {P} (A)\mathbb {P} (B)\qquad {\mbox{eger A ve B bagimsizlarsa}}\\\end{aligned}}}$
A verilmiş B olması (B koşullu A)	${\displaystyle \mathbb {P} (A|B)={\frac {\mathbb {P} (A\cap B)}{\mathbb {P} (B)}}\,}$

Bazı rassal değişkenler olasılık teorisi içinde daha sık olarak isimleri geçmektedir; çünkü bu değişkenler birçok doğal veya fiziksel süreçleri belirlemektedirler veya özellikle çıkarımsal istatistikte çok öneme haizdirler. Bunun için bu tür değişkenler için olasılık dağılımları olasılık teorisi içinde özel önem taşımaktadırlar.

Temel ayrık olasılık dağılımları listesi şöyle verilebilir:

• Ayrık tekdüze dağılım
• Bernoulli dağılımı
• Binom dağılımı
• Negatif binom dağılımı
• Poisson dağılımı
• Geometrik dağılım
• Hipergeometrik dağılım

Temel sürekli olasılık dağılımları listesi şöyle verilebilir:

• Sürekli tekdüze dağılım
• Normal dağılım
• Student'in t dağılımı
• F-dağılımı
• Ki-kare dağılımı
• Üstel dağılım
• Beta dağılımı
• Gamma dağılımı

• Olasılık teorisi içinde rassal değişkenler in yakınsama kavramı birkaç değişik şekilde tanımlanır. Aşağıdaki listede bu değişik tanımlar tanımın geçerlilik gücüne göre sıralanmıştır. Bu sıralamaya göre sıranın içindeki herhangi bir tanım daha önce verilmiş olan tüm tanımları da içinde kapsamaktadır.
• Dağılım içinde yakınsama: Bir seri rassal değişken olan ${\displaystyle X_{1},X_{2},\dots ,\,}$, ${\displaystyle X\,}$ rassal değişkenine dağılım içinde yakınsama göstermesi, ancak her bir X_i rassal değişkeni için yığmalı dağılım fonksiyonu olan ${\displaystyle F_{1},F_{2},\dots \,}$ fonksiyonlarının ${\displaystyle X\,}$in yığmalı dağılım fonksiyonu olan ${\displaystyle F\,}$ye yakınsama göstermesi hâlinde ortaya çıkar. Burada ${\displaystyle F\,}$ sürekli bir fonksiyondur.

En iyi bilinir kısaltılmış notasyon ile: ${\displaystyle X_{n}\,{\xrightarrow {\mathcal {D}}}\,X\,.}$

• Zayıf yakınsama: Bir seri rassal değişken olan ${\displaystyle X_{1},X_{2},\dots ,\,}$ ${\displaystyle X\,}$ rassal değişkenine zayıf yakınsama gösterirlerse, her ε > 0 için

${\displaystyle \lim _{n\rightarrow \infty }P\left(\left|X_{n}-X\right|\geq \varepsilon \right)=0}$

olur. Zayıf yakınsama 'olasılık içinde yakınsama olarak da bilinmektedir.

En iyi bilinir kısaltılmış notasyon ile: ${\displaystyle X_{n}\,{\xrightarrow {P}}\,X\,.}$

• Güçlü yakınsama: Bir seri rassal değişken olan ${\displaystyle X_{1},X_{2},\dots ,\,}$ ${\displaystyle X\,}$ rassal değişkenine güçlü yakınsama gösterirlerse

${\displaystyle P(\lim _{n\rightarrow \infty }X_{n}=X)=1}$

ifadesi gerçekleşir. Güçlü yakınsama hemen hemen kesinlikle yakınsama olarak da isimlendirilir.

En iyi bilinir kısaltılmış notasyon ile: ${\displaystyle X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X\,.}$

Güçlü yakınsamanın bir zayıf yakınsamanın daha güçlü bir şekli olduğu gerçeğinin sezilmesi kolaydır ve her iki hâlde de rassal değişkenler ${\displaystyle X_{1},X_{2},\dots \,}$, ${\displaystyle X\,}$ ile artan bir korelasyon göstermektedirler. Ancak dağılım için yakınsama hâlinde, rasssal değişkenlerin gerçekleşen değerlerinin gerçekte yakınsama göstermeleri gerekli değildir ve bunların arasındaki herhangi bir korelasyonun hiçbir pratik önemi bulunmaz.

Yaygın olan bir sezgiye göre eğer yansız olan bir madeni para birkaç kere havaya atılıp yazı-tura sonuçları kayıt edilirse, sonuçların kabaca yarısı yazı olacak ve kalan yarısı da tura olacaktır. Üstelik, madeni parayı daha da çok defa havaya atıp sonuç kayıt edildikçe giderek yazı sonuçları sayısının tura sonuçları sayısına oranının gittikçe daha çok bire yaklaştığı gözümlenecektir. Bu sezgi ile geliştirilen bu düşünce prensibine istatistik bilimde daha formel bir şekil verilmekte ve bunu büyük sayılar yasasi olarak isimlendirilmektedir. Bu dikkate değerdir; çünkü bu yasa olasılık teorisinin hiçbir yerinde, bu teorisin temel taşdır şeklinde bir bahis görmemektedir; fakat bu yasa olasılık teorisi temelinden bir teorem olarak geliştirilip ortaya çıkarılmaktadır. Bununla beraber, teorik olarak elde edilen olasılıkları, pratik reel hâllerde gerçek olarak ortaya çıkan çokluklara (frekanslara) bağladığı için, bu yasa istatistik teorisinin tarihinin içinde çok önemli bir orta direk taşı olarak kabul edilmektedir.^[4]

Büyük sayılar yasasına göre örneklem ortalaması, yani bağımsız ve birbiri ile sonsuz olmayan beklenen değeri ${\displaystyle \mu }$ olan aynı bir dağılım gösteren rassal değişkenler, limitte teorik beklenen değere (yani ${\displaystyle \mu }$ya) yaklaşılık gösterirler. Yaklaşıklık gösteren rassal değişkenlerin gösterdikleri değişik şekillere göre bu yasa iki şekilde matematik olarak ifade edilebilir:

Güçlü yasa: ${\displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,\mu \qquad {\textrm {for}}\qquad n\to \infty .}$

Zayıf yasa: ${\displaystyle {\overline {X}}_{n}\,{\xrightarrow {P}}\,\mu \qquad {\textrm {for}}\qquad n\to \infty .}$

• Billingsley, P., (1995) Probability and Measure, 3ncu ed., John Wiley, New York
• Gut, A., (2005) Probability: A Graduate Course. Springer-Verlag. ISBN 0-387-22833-0.
• Jeffreys, H., (1939) The Theory of Probability
• Kolmogorov, A.N., (1933) Grundbegriffe der Wahrscheinlichkeitrechnung.
• Laplace, P.S., (1812) Theorie Analytique des Probabilités.
• Nelson, E., (1987) Radically Elementary Probability Theory