De stelling van Karhunen-Loève, ook bekend als de stelling van Kosambi–Karhunen–Loève, is een stelling in de theorie van de stochastische processen die stelt dat, analoog aan een fourierreeks, ook een stochastisch proces voorgesteld kan worden als een oneindige lineaire combinatie van orthogonale functies. De stelling is genoemd naar Kari Karhunen en Michel Loève.^[1][2]

Stochastische processen gegeven door een reeks van deze vorm, zijn voor het eerst^[3] beschouwd door Damodar Dharmananda Kosambi.^[4]

Er bestaan meerdere ontwikkelingen van een stochastisch proces: als het proces geïndiceerd is over het interval ${\displaystyle [a,b]}$, levert elke orthonormale basis van ${\displaystyle {\rm {L}}^{2}([a,b])}$ een ontwikkeling in termen van deze basis. Het belang van de stelling van Karhunen-Loève is dat daardoor de beste van zulke bases bepaald wordt, in de zin dat de totale gemiddelde kwadratische fout minimaal is.

In tegenstelling tot een fourierreeks, waarin de coëfficiënten reële getallen zijn en de basis van de ontwikkeling bestaat uit goniometrische functies, zijn de coëfficiënten in de stelling van Karhunen-Loève stochastische variabelen en is de basis afhankelijk van het proces. De basis van orthogonale functies die in de voorstelling gebruikt worden, wordt bepaald door de autocorrelatie van het proces.

In het geval van een zogeheten gecentreerd stochastisch proces ${\displaystyle \{X_{t}|t\in [a,b]\}}$, d.w.z. een proces waarvan de verwachtingen bestaan, met ${\displaystyle {\rm {E}}X_{t}=0}$ voor alle ${\displaystyle t\in [a,b]}$ en dat voldoet aan zekere technische continuïteitsvoorwaarden, is er een ontwikkeling mogelijk zo, dat

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$,

waarin ${\displaystyle (Z_{k})}$ paarsgewijs ongecorreleerde stochastische variabelen zijn en ${\displaystyle (e_{k})}$ continue reëelwaardige functies op ${\displaystyle [a,b]}$ die paarsgewijs orthogonaal zijn in ${\displaystyle {\rm {L}}^{2}([a,b])}$. Men zegt daarom wel dat de ontwikkeling bi-orthogonaal is aangezien de random coëfficiënten ${\displaystyle (Z_{k})}$ orthogonaal zijn in de kansruimte en de deterministische functies ${\displaystyle (e_{k})}$ orthogonaal zijn in het tijddomein.

Het algemene geval van een proces ${\displaystyle \{X_{t}\}}$ dat niet gecentreerd is, kan in veel gevallen herleid worden tot het geval van een gecentreerd proces door te kijken naar ${\displaystyle \{X_{t}-{\rm {E}}X_{t}\}}$.

• Hoofdcomponentenanalyse