For andre betydninger, se Entropi (flertydig)

Der er for få eller ingen kildehenvisninger i denne artikel, hvilket er et problem. Du kan hjælpe ved at angive troværdige kilder til de påstande, som fremføres i artiklen.

I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.

Entropien ${\displaystyle S}$ er givet ved en sum over alle mulige tilstande:

hvor ${\displaystyle P_{i}}$ er sandsynligheden for tilstanden ${\displaystyle i}$.^[1]

Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:

${\displaystyle I_{i}=-\log _{2}P_{i}}$

For et system med forskellige udfald ${\displaystyle i}$ er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.^[2]

Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.^[3]

I det følgende gives eksempler på beregning af entropi.

Når en ærlig mønt bruges til at slå plat eller krone, har den 50 % - dvs. ${\displaystyle {\tfrac {1}{2}}}$ - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:

${\displaystyle I=-\log _{2}{\frac {1}{2}}=\log _{2}2=1{\text{ bit}}}$

Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:

${\displaystyle S_{1}=-\left[{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)+{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)\right]=-\log _{2}{\frac {1}{2}}=\log _{2}2=1{\text{ bit}}}$

For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:

${\displaystyle S_{2}=-4\left[{\frac {1}{4}}\log _{2}\left({\frac {1}{4}}\right)\right]=\log _{2}4=\log _{2}2^{2}=2\log _{2}2=2{\text{ bit}}}$

Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal ${\displaystyle N}$ mønter være ${\displaystyle 2^{N}}$. Sandsynligheden per udfald ${\displaystyle i}$ er derfor:

${\displaystyle P_{i}={\frac {1}{2^{N}}}}$

Og derfor er entropien:

${\displaystyle S_{N}=-2^{N}\left[{\frac {1}{2^{N}}}\log _{2}\left({\frac {1}{2^{N}}}\right)\right]=\log _{2}\left(2^{N}\right)=N\log _{2}2}$

Entropien for ${\displaystyle N}$ møntkast er altså simpelthen ${\displaystyle N}$.

Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.

En Bernoulli-proces er en måling, hvor der er to mulige udfald med sandsynlighederne ${\displaystyle p}$ og ${\displaystyle 1-p}$

${\displaystyle {\begin{aligned}P_{1}&=p\\P_{2}&=1-p\end{aligned}}}$

hvor ${\displaystyle p}$ er konstant. Dette er en generalisering af den ærlige mønt, hvor ${\displaystyle p={\tfrac {1}{2}}}$. Entropien er:

For ${\displaystyle p={\tfrac {1}{2}}}$ er entropien 1 som før, men for ${\displaystyle p=0}$ - dvs. hvis udfald 1 er umuligt - bliver entropien:

${\displaystyle S(0)=-0\log _{2}(0)-1\log _{2}(1)=0{\text{ bit}}}$

Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).^[2]

Spire Denne artikel om matematik er en spire som bør udbygges. Du er velkommen til at hjælpe Wikipedia ved at udvide den.