Частина з циклу Статистика
Кореляція та коваріація
Для випадкових векторів Автокореляційна матриця Взаємна кореляційна матриця[en] Автоковаріаційна матриця Взаємна коваріаційна матриця[en]
Для стохастичних процесів Автокореляційна функція Взаємна кореляційна функція Автоковаріаційна функція Взаємна коваріаційна функція
Для детермінованих сигналів Автокореляційна функція Взаємна кореляційна функція Автоковаріаційна функція Взаємна коваріаційна функція
п о р

В обробці сигналів взаємна кореляція (англ. cross-correlation) — це міра подібності двох рядів як функція зміщення одного відносно іншого. Вона також відома як ковзний скалярний добуток (англ. sliding dot product) та ковзний внутрішній добуток (англ. sliding inner-product). Її зазвичай використовують для пошуку в довгому сигналі коротшої відомої ознаки. Вона має застосування в розпізнаванні образів, аналізі одиничних частинок^[en], електронній томографії^[en], усереднюванні, криптоаналізі та нейрофізіології . Взаємна кореляція за своєю природою подібна до згортки двох функцій. В автокореляції, яка є взаємною кореляцією сигналу з самим собою, завжди буде пік на нульовій затримці, і його розмір буде енергією сигналу.

У теорії ймовірностей та статистиці термін взаємні кореляції стосується кореляцій між елементами двох випадкових векторів ${\displaystyle \mathbf {X} }$ та ${\displaystyle \mathbf {Y} }$, тоді як кореляції випадкового вектора ${\displaystyle \mathbf {X} }$ є кореляціями між елементами самого ${\displaystyle \mathbf {X} }$, що утворюють кореляційну матрицю ${\displaystyle \mathbf {X} }$. Якщо як ${\displaystyle \mathbf {X} }$, так і ${\displaystyle \mathbf {Y} }$ є скалярними випадковими величинами, які багаторазово реалізуються в часовому ряді, то кореляції різних часових примірників ${\displaystyle \mathbf {X} }$ відомі як автокореляції (англ. autocorrelations) ${\displaystyle \mathbf {X} }$, а взаємні кореляції ${\displaystyle \mathbf {X} }$ із ${\displaystyle \mathbf {Y} }$ у часі є часовими взаємними кореляціями (англ. temporal cross-correlations). У теорії ймовірностей та статистиці визначення кореляції завжди включає такий стандартувальний коефіцієнт, щоби кореляції мали значення від −1 до +1.

Якщо ${\displaystyle X}$ та ${\displaystyle Y}$ — дві незалежні випадкові величини з функціями густини ймовірності ${\displaystyle f}$ та ${\displaystyle g}$ відповідно, то густина ймовірності різниці ${\displaystyle Y-X}$ формально задається взаємною кореляцією (у сенсі обробки сигналів) ${\displaystyle f\star g}$, проте цю термінологію в теорії ймовірностей та статистиці не використовують. На противагу цьому, згортка ${\displaystyle f*g}$ (еквівалентна взаємній кореляції ${\displaystyle f(t)}$ та ${\displaystyle g(-t)}$) дає функцію густини ймовірності суми ${\displaystyle X+Y}$.

Для безперервних функцій ${\displaystyle f}$ та ${\displaystyle g}$ взаємну кореляцію визначають як^[1][2][3]

що рівнозначне

${\displaystyle (f\star g)(\tau )\ \triangleq \int _{-\infty }^{\infty }{\overline {f(t-\tau )}}g(t)\,dt}$

де ${\displaystyle {\overline {f(t)}}}$ позначує комплексне спряжене ${\displaystyle f(t)}$, а ${\displaystyle \tau }$ — зміщення, відоме також як запізнювання (англ. lag; ознака в ${\displaystyle f}$ з ${\displaystyle t}$ трапляється в ${\displaystyle g}$ на ${\displaystyle t+\tau }$).

Якщо ${\displaystyle f}$ та ${\displaystyle g}$ обидві є безперервними періодичними функціями з періодом ${\displaystyle T}$, то інтегрування з ${\displaystyle -\infty }$ до ${\displaystyle \infty }$ замінюється інтегруванням за будь-яким інтервалом ${\displaystyle [t_{0},t_{0}+T]}$ довжини ${\displaystyle T}$:

що рівнозначне

${\displaystyle (f\star g)(\tau )\ \triangleq \int _{t_{0}}^{t_{0}+T}{\overline {f(t-\tau )}}g(t)\,dt}$

Аналогічно, для дискретних функцій взаємну кореляцію визначають як^[4][5]

що рівнозначне

${\displaystyle (f\star g)[n]\ \triangleq \sum _{m=-\infty }^{\infty }{\overline {f[m-n]}}g[m]}$.

Для скінченних дискретних функцій ${\displaystyle f,g\in \mathbb {C} ^{N}}$ (циклічну, англ. circular) взаємну кореляцію визначають як^[6]

що рівнозначне

${\displaystyle (f\star g)[n]\ \triangleq \sum _{m=0}^{N-1}{\overline {f[(m-n)_{{\text{mod}}~N}]}}g[m]}$.

Для скінченних дискретних функцій ${\displaystyle f\in \mathbb {C} ^{N}}$, ${\displaystyle g\in \mathbb {C} ^{M}}$ ядрову взаємну кореляцію (англ. kernel cross-correlation) визначають як^[7]

де ${\displaystyle K_{g}=[k(g,T_{0}(g)),k(g,T_{1}(g)),\dots ,k(g,T_{N-1}(g))]}$ — вектор ядрових функцій ${\displaystyle k(\cdot ,\cdot )\colon \mathbb {C} ^{M}\times \mathbb {C} ^{M}\to \mathbb {R} }$, а ${\displaystyle T_{i}(\cdot )\colon \mathbb {C} ^{M}\to \mathbb {C} ^{M}}$ — афінне перетворення.

Зокрема, ${\displaystyle T_{i}(\cdot )}$ може бути перетворенням циклічного перенесення, поворотним та масштабувальним перетворенням тощо. Ядрова взаємна кореляція узагальнює взаємну кореляцію з лінійного простору до ядрового. Взаємна кореляція рівнозначна перенесенню; ядрова взаємна кореляція рівнозначна будь-яким афінним перетворенням, включно з перенесенням, повертанням, масштабуванням тощо.

Як приклад розгляньмо дві дійснозначні функції ${\displaystyle f}$ та ${\displaystyle g}$, що відрізняються лише невідомим зміщенням уздовж осі x. Взаємною кореляцією можливо скористатися, щоби знайти, наскільки ${\displaystyle g}$ мусить бути зміщено вздовж осі x, щоби зробити її ідентичною до ${\displaystyle f}$. Ця формула по суті соває функцію ${\displaystyle g}$ уздовж осі x, обчислюючи інтеграл від їхнього добутку в кожному положенні. Коли функції збігаються, значення ${\displaystyle (f\star g)}$ є максимальним. Це тому, що коли піки (додатні області) вирівняно, вони роблять великий внесок до інтегралу. Аналогічно, коли вирівнюються западини (від'ємні області), вони також роблять додатний внесок до інтегралу, оскільки добуток двох від'ємних чисел є додатним.

З комплекснозначними функціями ${\displaystyle f}$ та ${\displaystyle g}$ взяття спряження ${\displaystyle f}$ забезпечує, що вирівняні піки (або вирівняні западини) з уявними компонентами робитимуть до інтегралу додатний внесок.

В економетрії взаємну кореляцію з запізнюванням іноді називають взаємною автокореляцією (англ. cross-autocorrelation).^{[8]:с. 74}

Для випадкових векторів ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{\rm {T}}}$ та ${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\rm {T}}}$, кожен з яких складається з випадкових елементів з відомими математичним сподіваннями та дисперсіями, матрицю взаємної кореляції ${\displaystyle \mathbf {X} }$ та ${\displaystyle \mathbf {Y} }$ визначають через^[10]:с.337

й вона має розміри ${\displaystyle m\times n}$. У записі по складових:

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {Y} }={\begin{bmatrix}\operatorname {E} [X_{1}Y_{1}]&\operatorname {E} [X_{1}Y_{2}]&\cdots &\operatorname {E} [X_{1}Y_{n}]\\\\\operatorname {E} [X_{2}Y_{1}]&\operatorname {E} [X_{2}Y_{2}]&\cdots &\operatorname {E} [X_{2}Y_{n}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [X_{m}Y_{1}]&\operatorname {E} [X_{m}Y_{2}]&\cdots &\operatorname {E} [X_{m}Y_{n}]\end{bmatrix}}}$

Випадкові вектори ${\displaystyle \mathbf {X} }$ та ${\displaystyle \mathbf {Y} }$ не зобов'язані мати однакові розміри, й будь-який з них може бути скалярним значенням.

Наприклад, якщо ${\displaystyle \mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}}$ та ${\displaystyle \mathbf {Y} =\left(Y_{1},Y_{2}\right)^{\rm {T}}}$ — випадкові вектори, то ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {Y} }}$ — матриця ${\displaystyle 3\times 2}$, чиїм ${\displaystyle (i,j)}$-м елементом є ${\displaystyle \operatorname {E} [X_{i}Y_{j}]}$.

Якщо ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\rm {T}}}$ та ${\displaystyle \mathbf {W} =(W_{1},\ldots ,W_{n})^{\rm {T}}}$ — комплексні випадкові вектори^[en], кожен з яких містить випадкові величини з відомими математичними сподіваннями та дисперсіями, то матрицю взаємної кореляції ${\displaystyle \mathbf {Z} }$ та ${\displaystyle \mathbf {W} }$ визначають через

${\displaystyle \operatorname {R} _{\mathbf {Z} \mathbf {W} }\triangleq \ \operatorname {E} [\mathbf {Z} \mathbf {W} ^{\rm {H}}]}$

де ${\displaystyle {}^{\rm {H}}}$ позначує ермітове транспонування.

В аналізі часових рядів і статистиці взаємна кореляція пари випадкових процесів — це кореляція між значеннями цих процесів у різні моменти часу як функція від цих двох моментів часу. Нехай ${\displaystyle (X_{t},Y_{t})}$ — пара випадкових процесів, а ${\displaystyle t}$ — будь-яка точка в часі (${\displaystyle t}$ може бути цілим числом для дискретночасового^[en] процесу, або дійсним числом для процесу неперервночасового^[en]). Тоді ${\displaystyle X_{t}}$ — це значення (або реалізація^[en]), реалізоване в результаті заданого перебігу процесу в момент часу ${\displaystyle t}$.

Припустімо, що цей процес у момент часу ${\displaystyle t}$ має середні значення ${\displaystyle \mu _{X}(t)}$ та ${\displaystyle \mu _{Y}(t)}$ і дисперсії ${\displaystyle \sigma _{X}^{2}(t)}$ та ${\displaystyle \sigma _{Y}^{2}(t)}$, для будь-якого ${\displaystyle t}$. Тоді визначенням взаємної кореляції між моментами часу ${\displaystyle t_{1}}$ та ${\displaystyle t_{2}}$ є^[10]:с.392

де ${\displaystyle \operatorname {E} }$ — оператор математичного сподівання. Зауважте, що цей вираз може бути не визначеним.

Віднімання середнього значення перед множенням дає перехресну коваріацію моментів часу ${\displaystyle t_{1}}$ та ${\displaystyle t_{2}}$:^[10]:с.392

Зауважте, що цей вираз не є однозначно визначеним для всіх часових рядів та процесів, оскільки середнє значення або дисперсія можуть не існувати.

Нехай ${\displaystyle (X_{t},Y_{t})}$ подає пару стохастичних процесів, спільно стаціонарних у широкому сенсі^[en]. Тоді взаємну коваріаційну та взаємну кореляційну функції задають наступним чином.

або, рівнозначно,

${\displaystyle \operatorname {R} _{XY}(\tau )=\operatorname {E} \left[X_{t-\tau }{\overline {Y_{t}}}\right]}$

або, рівнозначно,

${\displaystyle \operatorname {K} _{XY}(\tau )=\operatorname {E} \left[\left(X_{t-\tau }-\mu _{X}\right){\overline {\left(Y_{t}-\mu _{Y}\right)}}\right]}$

де ${\displaystyle \mu _{X}}$ та ${\displaystyle \sigma _{X}}$ — середнє значення та стандартне відхилення процесу ${\displaystyle (X_{t})}$, сталі в часі через стаціонарність; і так само для ${\displaystyle (Y_{t})}$, відповідно. ${\displaystyle \operatorname {E} [\ ]}$ показує математичне сподівання. Те, що взаємні коваріація та кореляція не залежать від ${\displaystyle t}$, — саме додаткова інформація (поза індивідуальною стаціонарністю в широкому сенсі), яку передає вимога, що ${\displaystyle (X_{t},Y_{t})}$ спільно стаціонарні в широкому сенсі.

Взаємну кореляцію пари спільно стаціонарних у широкому сенсі стохастичних процесів можливо оцінювати усереднюванням добутку зразків, виміряних за одним процесом, і зразків, виміряних за іншим (та за його зсувами в часі). Зразки, включені до цього усереднювання, можуть бути довільною підмножиною всіх зразків у сигналі (наприклад, зразки в межах скінченного часового вікна, або підвибірка^[яка?] одного з сигналів). За великої кількості зразків це усереднення збігається до істинної взаємної кореляції.

Поширеною практикою в деяких дисциплінах (наприклад, у статистиці та аналізі часових рядів) є унормовувати взаємно кореляційну функцію, щоб отримувати залежний від часу коефіцієнт кореляції Пірсона. Проте в деяких інших дисциплінах (наприклад, в інженерії) унормовування зазвичай пропускають, а терміни «взаємна кореляція» та «взаємна коваріація» використовують як взаємозамінні.

Визначення нормованої взаємної кореляції стохастичного процесу:

${\displaystyle \rho _{XX}(t_{1},t_{2})={\frac {\operatorname {K} _{XX}(t_{1},t_{2})}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}={\frac {\operatorname {E} \left[\left(X_{t_{1}}-\mu _{t_{1}}\right){\overline {\left(X_{t_{2}}-\mu _{t_{2}}\right)}}\right]}{\sigma _{X}(t_{1})\sigma _{X}(t_{2})}}}$.

Якщо функція ${\displaystyle \rho _{XX}}$ однозначно визначена, її значення мусять лежати в діапазоні ${\displaystyle [-1,1]}$, причому 1 вказує на ідеальну кореляцію, а −1 — на ідеальну антикореляцію.

Для спільно стаціонарних у широкому сенсі стохастичних процесів визначення таке:

${\displaystyle \rho _{XY}(\tau )={\frac {\operatorname {K} _{XY}(\tau )}{\sigma _{X}\sigma _{Y}}}={\frac {\operatorname {E} \left[\left(X_{t}-\mu _{X}\right){\overline {\left(Y_{t+\tau }-\mu _{Y}\right)}}\right]}{\sigma _{X}\sigma _{Y}}}}$.

Унормовування важливе як тому, що інтерпретація автокореляції як кореляції забезпечує безмасштабну міру сили статистичної залежності, так і тому, що унормовування впливає на статистичні властивості оцінюваних автокореляцій.

Для спільно стаціонарних у широкому сенсі стохастичних процесів взаємно кореляційна функція має таку властивість симетрії:^[11]:с.173

${\displaystyle \operatorname {R} _{XY}(t_{1},t_{2})={\overline {\operatorname {R} _{YX}(t_{2},t_{1})}}}$

Відповідно, для спільно СШС стохастичних процесів:

${\displaystyle \operatorname {R} _{XY}(\tau )={\overline {\operatorname {R} _{YX}(-\tau )}}}$

Взаємні кореляції корисні для визначання часової затримки між двома сигналами, наприклад, для визначання часових затримок поширення акустичних сигналів системою спрямованих мікрофонів.^{[12][13][прояснити: ком.]}  Після обчислення взаємної кореляції між двома сигналами максимум (або мінімум, якщо сигнали корельовані негативно) взаємно кореляційної функції вказує момент часу, коли сигнали узгоджені найкраще; тобто затримка часу між цими двома сигналами визначається аргументом максимуму, або arg max, взаємної кореляції, як у

${\displaystyle \tau _{\mathrm {delay} }={\underset {t\in \mathbb {R} }{\operatorname {arg\,max} }}((f\star g)(t))}$

Для застосувань в обробці зображень, у яких яскравість зображення та шаблону може змінюватися залежно від умов освітлення та експозиції, зображення можуть спочатку унормовувати. Зазвичай це роблять на кожному кроці шляхом віднімання середнього значення та ділення на стандартне відхилення. Тобто, взаємна кореляція шаблону ${\displaystyle t(x,y)}$ з підзображенням ${\displaystyle f(x,y)}$ — це

${\displaystyle {\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}\left(f(x,y)-\mu _{f}\right)\left(t(x,y)-\mu _{t}\right)}$

де ${\displaystyle n}$ — число пікселів у ${\displaystyle t(x,y)}$ та ${\displaystyle f(x,y)}$, ${\displaystyle \mu _{f}}$ — усереднення ${\displaystyle f}$, а ${\displaystyle \sigma _{f}}$ — стандартне відхилення ${\displaystyle f}$.

З погляду функціонального аналізу це можливо розглядати як добуток двох унормованих векторів. Тобто, якщо

${\displaystyle F(x,y)=f(x,y)-\mu _{f}}$

та

${\displaystyle T(x,y)=t(x,y)-\mu _{t}}$

то наведена вище сума дорівнює

${\displaystyle \left\langle {\frac {F}{\|F\|}},{\frac {T}{\|T\|}}\right\rangle }$

де ${\displaystyle \langle \cdot ,\cdot \rangle }$ — скалярний добуток, а ${\displaystyle \|\cdot \|}$ — норма L². З Коші — Буняковського тоді випливає, що ЦНВК (англ. zero-normalized cross-correlation, ZNCC) має діапазон ${\displaystyle [-1,1]}$.

Таким чином, якщо ${\displaystyle f}$ та ${\displaystyle t}$ є дійснозначними матрицями, то їх нормована взаємна кореляція дорівнює косинусу кута між одиничними векторами ${\displaystyle F}$ та ${\displaystyle T}$, будучи відтак ${\displaystyle 1}$ тоді й лише тоді, коли ${\displaystyle F}$ дорівнює ${\displaystyle T}$, помноженому на додатний скаляр.

Нормована кореляція — це один із методів, які використовують для зіставляння з шаблоном^[en], процесу, який використовують для пошуку зразків або об'єктів у зображенні. Вона також є двовимірною версією коефіцієнту кореляції моменту добутку Пірсона.

НВК (англ. normalized cross-correlation, NCC) подібна до ЦНВК, з тією лише відмінністю, що не віднімається локальне середнє значення освітленостей:

${\displaystyle {\frac {1}{n}}\sum _{x,y}{\frac {1}{\sigma _{f}\sigma _{t}}}f(x,y)t(x,y)}$

При використанні взаємної кореляції для нелінійних систем необхідно бути обережними. За певних обставин, які залежать від властивостей вхідних даних, взаємна кореляція між входом і виходом системи з нелінійною динамікою може бути повністю сліпою до певних нелінійних ефектів.^[14] Ця проблема виникає через те, що деякі квадрати моментів можуть дорівнювати нулеві, й це може помилково підказувати, що між двома сигналами існує невелика «кореляція» (у сенсі статистичної залежності), хоча насправді ці два сигнали сильно пов'язані нелінійною динамікою.

• Tahmasebi, Pejman; Hezarkhani, Ardeshir; Sahimi, Muhammad (2012). Multiple-point geostatistical modeling based on the cross-correlation functions. Computational Geosciences. 16 (3): 779—797. doi:10.1007/s10596-012-9287-1. (англ.)

• Взаємна кореляція від Mathworld [Архівовано 30 серпня 2020 у Wayback Machine.] (англ.)
• http://scribblethink.org/Work/nvisionInterface/nip.html [Архівовано 22 квітня 2022 у Wayback Machine.] (англ.)
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf [Архівовано 1 серпня 2020 у Wayback Machine.](англ.)