Теорія оцінювання — це галузь статистики, яка вивчає способи оцінювання значень параметрів на основі емпіричних/виміряних даних, що мають випадкову складову. Ці параметри описують належне фізичне середовище таким чином, що їхні значення впливають на розподіл виміряних даних. Статистична оцінка дозволяє оцінити ці невідомі параметри на основі даних вимірювань.

Наприклад, необхідно оцінити частину сукупності виборців, які голосуватимуть за певного кандидата. Це співвідношення є шуканим параметром; оцінка ґрунтується на невеликій випадковій вибірці людей, що голосують.

Або, наприклад, задача радару полягає в тому, щоб оцінити віддаленість об'єктів (літаків, човнів тощо) шляхом аналізу часу двобічного проходження отриманих віддзеркалень переданих імпульсів. Оскільки відбиті імпульси неминуче включатимуться в електричний шум, їхні виміряні значення матимуть випадковий розподіл, тому цю тривалість проходження потрібно оцінювати.

У теорії статистичного оцінювання зазвичай розглядають два основні підходи:^[1]

• Ймовірнісний підхід ґрунтується на припущенні, що вимірювані дані є випадковими і мають деякий розподіл ймовірностей, що залежить від параметрів, які необхідно знайти
• Множинний підхід^[en] ґрунтується на припущенні, що виміряний вектор даних належить до множини, що залежить від вектора параметрів.

Наприклад, в теорії електросигналів вимірювання, що містять інформацію про шукані параметри, часто пов'язані із зашумленим сигналом. Без наявності випадковості, або шуму, задача була би детермінованою, і оцінювання не було би потрібним.

Наприклад, бажано оцінити частку населення виборців, яке проголосує за конкретного кандидата. Ця пропорція — шуканий параметр; оцінка базується на невеликій випадковій вибірці виборців. Як альтернативу бажано оцінити ймовірність голосування виборців за конкретного кандидата, виходячи з деяких демографічних особливостей, таких як вік.

Або, наприклад, у радіолокації метою є пошук діапазону об'єктів (літаки, катери тощо) шляхом аналізу двостороннього часу транзиту прийнятих відлунь переданих імпульсів. Оскільки відбиті імпульси неминуче вбудовуються в електричний шум, їх виміряні значення випадковим чином розподіляються так, що час проходження потрібно оцінити.

Іншим прикладом у теорії електричного зв'язку можуть бути вимірювання, що містять інформацію щодо цікавих параметрів, які часто пов'язано з шумним сигналом.

Щоб оцінювач могло бути втілено, для заданої моделі потрібно кілька статистичних «складових». Першим з них є статистична вибірка — набір точок даних, взятих із випадкового вектора (RV) розміру N. Покласти до вектору,

${\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}$

По-друге, є M параметрів

${\displaystyle \mathbf {\theta } ={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}$

значення яких слід оцінити. По-третє, функція безперервної густини ймовірності (ФГІ) або її дискретний аналог, функція маси імовірності (ФМІ) основного розподілу, що породжує дані, повинно бути вказано залежно від значень параметрів:

${\displaystyle p(\mathbf {x} |\mathbf {\theta } ).\,}$

Також можливо, щоби самі параметри мали розподіл імовірностей (наприклад, баєсову статистику). Потім необхідно визначити баєсову ймовірність

${\displaystyle \pi (\mathbf {\theta } ).\,}$

Після формування моделі мета полягає в оцінці параметрів, причому оцінки зазвичай позначають через ${\displaystyle {\hat {\mathbf {\theta } }}}$, де «капелюх» означає оцінку.

Одним із загальних оцінювачів є оцінювач мінімальної середньоквадратичної похибки^[en] (МСКП), який використовує похибку між оцінюваними параметрами та фактичним значенням параметрів

${\displaystyle \mathbf {e} ={\hat {\mathbf {\theta } }}-\mathbf {\theta } }$

як основу для оптимальності. Потім цей член похибки подносять до квадрату, а очікуване значення цього квадрату мінімізують для оцінювача МСКП.

До загальновживаних оцінювачі (методів оцінювання) та тем, пов'язані з ними, належать:

• Оцінювачі максимальної ймовірності
• Оцінки Байєса
• Метод оцінок моментів
• Зв'язаний Крамер — Рао
• Найменші квадрати
• Мінімальна середньоквадратична похибка^[en] (МСКП), відома також як баєсова мінімально-квадратична похибка (БМКП)
• Оцінка апостеріорного максимуму (ОАМ)
• Мінімально-дисперсійна незміщена оцінка^[en] (МДНО)
• Ідентифікування нелінійних систем^[en]
• Найкращий лінійний незміщений оцінювач (НЛНО)
• Незміщені оцінювачі; див. Незміщена оцінка.
• Частинковий фільтр^[en]
• Методи Монте-Карло марковських ланцюгів (МКМЛ)
• Фільтр Калмана, та різні його похідні
• Фільтр Вінера^[en]

Розгляньмо отриманий дискретний сигнал, ${\displaystyle x[n]}$, з ${\displaystyle N}$ незалежних зразків, що складається з невідомої сталої ${\displaystyle A}$ з адитивним білим гауссовим шумом (АБГШ) ${\displaystyle w[n]}$ з нульовим середнім значенням та відомою дисперсією ${\displaystyle \sigma ^{2}}$ (тобто, ${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$). Оскільки дисперсія є відомою, то єдиним невідомим параметром є ${\displaystyle A}$.

Тоді моделлю для сигналу є

${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$

Двома можливими (з багатьох) оцінювачами параметра ${\displaystyle A}$ є:

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$ що є середнім значенням вибірки

Обидві ці оцінювачі мають середнє значення ${\displaystyle A}$, яке можливо показати, взявши математичне сподівання кожного з оцінювачів

${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$

та

${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$

На даний момент ці два оцінювачі, здається, виконують однакові дії. Однак різниця між ними стає очевидною при порівнянні дисперсій.

${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$

та

${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$

Видається, що середнє значення вибірки є кращим оцінювачем, оскільки його дисперсія нижча для кожного N > 1.

Продовжуючи приклад, використовуючи оцінювач методу максимальної правдоподібності, густиною ймовірності (ФГІ) шуму для одного зразку ${\displaystyle w[n]}$ є

${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$

І ймовірність ${\displaystyle x[n]}$ стає (${\displaystyle x[n]}$ можливо розглядати як ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$)

${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$

Згідно незалежності, ймовірність ${\displaystyle \mathbf {x} }$ стає

${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$

Беручи натуральний логарифм ФГІ

${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$

а оцінювач максимальної правдоподібності —

${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$

Беремо першу похідну функції логарифмічної правдоподобності

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

і встановлюємо її в нуль

${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$

Це дає оцінку максимальної ймовірності

${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$

Що є просто середнім значенням вибірки. З цього прикладу було встановлено, що середнє значення вибірки є оцінювачем максимальної правдоподібності для ${\displaystyle N}$ зразків фіксованого, невідомого параметра, спотвореного АБГШ.

Щоби знайти нижню межу Крамера — Рао (НМКР) оцінювача середнього значення вибірки, спочатку необхідно знайти значення інформації за Фішером

${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$

і, скопіювавши зверху,

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

Взяття другої похідної

${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$

та пошук від'ємного математичного сподівання є тривіальними, оскільки тепер це є детермінованою сталою ${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

Нарешті, підставлення цієї інформації за Фішером до

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$

дає в результаті

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$

Порівняння цього з дисперсією вибіркового середнього (визначеною раніше) показує, що вибіркове середнє дорівнює нижній межі Крамера — Рао для всіх значень ${\displaystyle N}$ та ${\displaystyle A}$. Іншими словами, вибіркове середнє є (обов'язково унікальним) ефективним оцінювачем, а отже, також мінімально-дисперсійним незміщеним оцінювачем^[en] (МДНО), крім того, що є оцінювачем максимальної ймовірності.

Одним з найпростіших нетривіальних прикладів оцінки є оцінка максимуму рівномірного розподілу. Його використовують як практичну вправу в класних заняттях, та для ілюстрування основних принципів теорії оцінювання. Далі, у випадку оцінки на основі одного зразку, вона демонструє філософські проблеми та можливі непорозуміння при використанні оцінювачів максимальної ймовірності та функцій правдоподібності.

Для заданого дискретного рівномірного розподілу ${\displaystyle 1,2,\dots ,N}$ з невідомим максимумом оцінювач МДНО^[en] для максимуму задають як

${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$

де m — максимум вибірки^[en], а k — обсяг вибірки, вибирання без повертання.^[2][3] Ця задача є широко відомою як задача про німецькі танки^[en], завдяки застосуванню максимального оцінювання до оцінювання виробництва німецьких танків під час Другої світової війни.

Формулу можливо інтуїтивно розуміти як

«Максимум вибірки плюс середній розрив між спостереженнями у вибірці»,

розрив додається для компенсації негативного зміщення максимуму вибірки як оцінки максимуму сукупності.^[a]

Це має дисперсію^[2]

${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$

а отже, стандартне відхилення приблизно ${\displaystyle N/k}$, середній (за сукупністю) розмір розриву між зразками; порівняйте з ${\displaystyle {\frac {m}{k}}}$ вище. Це можливо розглядати як дуже простий випадок максимально-інтервальної оцінки^[en].

Вибірковий максимум є максимально-правдоподібнісним оцінювачем для максимуму сукупності, але, як обговорювалося вище, він є зміщеним.

Використання теорії оцінювання вимагають численні галузі. До них, зокрема, належать:

• Інтерпретування наукових експериментів
• Обробка сигналів
• Клінічні випробування
• Опитування громадської думки
• Контроль якості
• Телекомунікації
• Управління проєктами
• Розробка програмного забезпечення
• Теорія керування (зокрема, адаптивне керування)
• Система виявляння вторгнень до мереж
• Визначання орбіт^[en]

Вимірювані дані можуть бути схильні до шуму або невизначеності, і саме через статистичну ймовірність шукають оптимальні рішення для витягування якнайбільше інформації з даних.

• Теорія оцінки точок Е. Л. Леманн та Г. Казелла. (ISBN 0387985026)
• Інженерія системних витрат Дейла Шермона. (ISBN 978-0-566-08861-2)
• Математична статистика та аналіз даних Джон Райс. (ISBN 0-534-209343)
• Основи статистичної обробки сигналів: теорія оцінки Стівена М. Кей (ISBN 0-13-345711-7)
• Вступ до виявлення та оцінки сигналу Х. Вінсент Поор (ISBN 0-387-94173-8)
• Теорія виявлення, оцінки та модуляції, Частина 1 Гаррі Л. Ван Тресс (ISBN 0-471-09517-6; website)
• Оптимальна оцінка стану: Калман, Н-нескінченість та нелінійні підходи Ден Сімон website [Архівовано 30 грудня 2010 у Wayback Machine.]
• Алі Сеїд^[en], Адаптивні фільтри, Уайлі, Нью-Джерсі, 2008, ISBN 978-0-470-25388-5.
• Алі Сеїд^[en], Основи адаптивного фільтрування, Уайлі, Нью-Джерсі, 2003, ISBN 0-471-46126-1.
• Томас Кайлат^[en], Алі Сеїд^[en], та Бабак Хассібі^[en], Лінійна оцінка, Прентис-Холл, Нью-Джерсі, 2000, ISBN 978-0-13-022464-4.
• Бабак Хассібі^[en], Алі Сеїд^[en], та Томас Кайлат^[en], Невизначена квадратична оцінка та контроль: уніфікований підхід до H² та H^{${\displaystyle \infty }$} теорій, Товариство промислової та прикладної математики (ТППМ), Пенсильванія, 1999, ISBN 978-0-89871-411-1.
• В. Г. Войнов, М. С. Нікулін, «Безсторонні оцінювачі та їх застосування. Т.1: Одновимірний випадок», Kluwer Academic Publishers, 1993, ISBN 0-7923-2382-3.
• В. Г. Войнов, М. С. Нікулін, « Безсторонні оцінювачі та їх застосування. Т.2: Багатовимірний випадок», Kluwer Academic Publishers, 1996, ISBN 0-7923-3939-8.

• Вікісховище має мультимедійні дані за темою: Теорія оцінювання