Теорія інформації
Ентропія Диференціальна ентропія Умовна ентропія Спільна ентропія Взаємна інформація Спрямована інформація(інші мови) Умовна взаємна інформація(інші мови) Відносна ентропія Ентропійна швидкість Границя густини дискретних точок(інші мови)
Властивість асимптотичної рівнорозподіленості(інші мови) Швидкість–спотворення(інші мови)
Теорема Шеннона про кодування джерела(інші мови) Пропускна здатність каналу Теорема про кодування для зашумленого каналу(інші мови) Теорема Шеннона — Гартлі Алгоритмічна теорія інформації
п о р

В теорії інформації умо́вна ентропі́я (або ухи́льність, англ. conditional entropy, equivocation) — це оцінка кількості інформації, необхідної, щоб описати вихід випадкової змінної ${\displaystyle Y}$, враховуючи, що значення іншої випадкової змінної ${\displaystyle X}$ є відомим. Тут інформація вимірюється в шеннонах, натах або гартлі. Ентропія ${\displaystyle Y}$, обумовлена ${\displaystyle X}$ записується як ${\displaystyle \mathrm {H} (Y|X)}$.

Нехай ${\displaystyle \mathrm {H} (Y|X=x)}$ є ентропією дискретної випадкової змінної ${\displaystyle Y}$, обумовленою набуванням дискретною випадковою змінною ${\displaystyle X}$ певного значення ${\displaystyle x}$. Нехай ${\displaystyle Y}$ має функцію маси ймовірності ${\displaystyle p_{Y}{(y)}}$. Безумовна ентропія ${\displaystyle Y}$ обчислюється як ${\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}$, тобто,

${\displaystyle \mathrm {H} (Y)=\sum _{i=1}^{n}{\mathrm {Pr} (Y=y_{i})\,\mathrm {I} (y_{i})}=-\sum _{i=1}^{n}{p_{Y}(y_{i})\log _{2}{p_{Y}(y_{i})}},}$

де ${\displaystyle \operatorname {I} (y_{i})}$ є інформаційним вмістом набування результатом^[en] ${\displaystyle Y}$ значення ${\displaystyle y_{i}}$. Ентропію ${\displaystyle Y}$, обумовлену набуванням випадковою змінною ${\displaystyle X}$ значення ${\displaystyle x}$, визначено аналогічно до умовного математичного сподівання:

${\displaystyle \mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum _{i=1}^{n}{\Pr(Y=y_{i}|X=x)\log _{2}{\Pr(Y=y_{i}|X=x)}}.}$

${\displaystyle \mathrm {H} (Y|X)}$ є результатом усереднювання ${\displaystyle \mathrm {H} (Y|X=x)}$ над усіма можливими значеннями ${\displaystyle x}$, що їх може набувати ${\displaystyle X}$.

Для заданих дискретних випадкових змінних ${\displaystyle X}$ з носієм ${\displaystyle {\mathcal {X}}}$ та ${\displaystyle Y}$ з носієм ${\displaystyle {\mathcal {Y}}}$ умовну ентропію ${\displaystyle Y}$ відносно ${\displaystyle X}$ визначають як зважену суму ${\displaystyle \mathrm {H} (Y|X=x)}$ для кожного з можливих значень ${\displaystyle x}$ із застосуванням ${\displaystyle p(x)}$ як вагових коефіцієнтів:^[1]:15

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}$

Примітка: Зрозуміло, що вирази ${\displaystyle 0\log 0}$ та ${\displaystyle 0\log c/0}$ для фіксованих ${\displaystyle c>0}$ слід вважати рівними нулеві.

${\displaystyle \mathrm {H} (Y|X)=0}$ якщо і лише якщо значення ${\displaystyle Y}$ повністю визначається значенням ${\displaystyle X}$.

І навпаки, ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ якщо і лише якщо ${\displaystyle Y}$ та ${\displaystyle X}$ є незалежними випадковими змінними.

Припустімо, що об'єднана система, яку визначають дві випадкові змінні ${\displaystyle X}$ та ${\displaystyle Y}$, має спільну ентропію ${\displaystyle \mathrm {H} (X,Y)}$, тобто, нам потрібно в середньому ${\displaystyle \mathrm {H} (X,Y)}$ біт інформації, щоби описати її точний стан. Тепер, якщо ми спочатку дізналися значення ${\displaystyle X}$, ми отримали ${\displaystyle \mathrm {H} (X)}$ біт інформації. Щойно ${\displaystyle X}$ стало відомим, нам потрібно лише ${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$ біт, щоб описати стан системи в цілому. Ця величина в точності дорівнює ${\displaystyle \mathrm {H} (Y|X)}$, що дає нам ланцюгове правило умовної ентропії:

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$^[1]:17

Ланцюгове правило випливає з вищенаведеного означення умовної ентропії:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

В загальному випадку ланцюгове правило для декількох випадкових змінних стверджує, що

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$^[1]:22

Воно має вигляд, подібний до ланцюгового правила в теорії ймовірностей, за винятком того, що замість множення використовується додавання.

Правило Баєса для умовної ентропії стверджує, що

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

Доведення. ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$ і ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$. Через симетрію, ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$. Віднімання цих двох рівнянь має наслідком правило Баєса.

Якщо ${\displaystyle Y}$ є умовно незалежною^[en] від ${\displaystyle Z}$ за заданої ${\displaystyle X}$, то ми маємо

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

Для будь-яких ${\displaystyle X}$ та ${\displaystyle Y}$

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

де ${\displaystyle \operatorname {I} (X;Y)}$ є взаємною інформацією ${\displaystyle X}$ та ${\displaystyle Y}$.

Для незалежних ${\displaystyle X}$ та ${\displaystyle Y}$

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ та ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

Хоча конкретно-умовна ентропія ${\displaystyle \mathrm {H} (X|Y=y)}$ і може бути або меншою, або більшою за ${\displaystyle \mathrm {H} (X)}$ для заданої випадкової варіати^[en] ${\displaystyle y}$ змінної ${\displaystyle Y}$, але ${\displaystyle \mathrm {H} (X|Y)}$ ніколи не може перевищувати ${\displaystyle \mathrm {H} (X)}$.

Наведене вище означення є для дискретних випадкових змінних, але в випадку неперервних випадкових змінних воно чинним не є. Неперервну версію дискретної умовної ентропії називають умовною диференціальною (або неперервною) ентропією (англ. conditional differential (continuous) entropy). Нехай ${\displaystyle X}$ та ${\displaystyle Y}$ є неперервними випадковими змінними з функцією густини спільної ймовірності^[en] ${\displaystyle f(x,y)}$. Диференціальну умовну ентропію ${\displaystyle h(X|Y)}$ означують як

${\displaystyle h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}$.^[1]:249

На противагу до умовної ентропії дискретних випадкових змінних, умовна диференціальна ентропія може бути від'ємною.

Як і в дискретному випадку, для диференціальної ентропії існує ланцюгове правило:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$^[1]:253

Зауважте, проте, що це правило може не виконуватися, якщо залучені диференціальні ентропії не існують, або є нескінченними.

Спільну диференціальну ентропію також використано в означенні взаємної інформації між неперервними випадковими змінними:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$, з рівністю якщо і лише якщо ${\displaystyle X}$ та ${\displaystyle Y}$ є незалежними.^[1]:253

Умовна диференціальна ентропія дає нижню межу математичного сподівання квадратичної похибки оцінювача. Для будь-якої випадкової змінної ${\displaystyle X}$, спостереження ${\displaystyle Y}$ та оцінювача ${\displaystyle {\widehat {X}}}$ виконується наступне:^[1]:255

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

Це стосується принципу невизначеності в квантовій механіці.

У квантовій теорії інформації умовна ентропія узагальнюється до умовної квантової ентропії^[en]. Остання, на відміну від свого класичного аналога, може набувати від'ємних значень.

• Інформаційна ентропія
• Взаємна інформація
• Умовна квантова ентропія^[en]
• Різновидність інформації^[en]
• Нерівність ентропійної потужності^[en]
• Функція правдоподібності