Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних[en] АвтоМН Асоціативні правила Семантичний аналіз[en] Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик[en] Навчання онтологій[en] Мультимодальне навчання[en]
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання[en] AdaBoost[en] Дерева рішень MARS[en] CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH[en] CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього[en]
Знижування розмірності Факторний аналіз Метод незалежних компонент[en] Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад[en] Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників[en]
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс[en]
Штучна нейронна мережа Автокодувальник Когнітивні обчислення[en] Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа[en] Мемтранзистор Електрохімічна ПДД[en] (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе[en]
Навчання з людьми Активне навчання (машинне навчання)[en] Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися[en]
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання[en] Регуляризація LASSO[en] Тихонова Еластично-сіткова[en] Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання[en]
Місця машинного навчання ECML PKDD[en] NeurIPS[en] ICML[en] ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту[en] Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання[en]
п о р

У статистиці, каноні́чно-кореляці́йний ана́ліз (ККА, англ. canonical-correlation analysis, CCA) це спосіб виведення інформації зі взаємно-коваріаційних матриць^[en]. Якщо ми маємо два вектори випадкових змінних, X = (X₁, ..., X_n) та Y = (Y₁, ..., Y_m), та між цими змінними існують кореляції, то канонічно-кореляційний аналіз знайде такі лінійні комбінації X_i та Y_j, які мають максимальну кореляцію між собою.^[1] Т. Р. Кнапп зазначає, що «практично всі загальноприйняті параметричні критерії^[en] значущості можна розглядати як окремі випадки канонічно-кореляційного аналізу, що є загальною процедурою для дослідження взаємозв'язків між двома наборами змінних.»^[2] Вперше цей метод було представлено Гарольдом Готелінґом 1936 року.^[3]

Для двох заданих стовпчикових векторів випадкових змінних зі скінченними другими моментами ${\displaystyle X=(x_{1},\dots ,x_{n})'}$ та ${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ можна визначити взаємну коваріацію ${\displaystyle \Sigma _{XY}=\operatorname {cov} (X,Y)}$ як матрицю ${\displaystyle n\times m}$, чий ${\displaystyle (i,j)}$-тий елемент є коваріацією ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$. На практиці ми б оцінювали коваріаційну матрицю на основі вибіркових даних з ${\displaystyle X}$ та ${\displaystyle Y}$ (тобто, з пари матриць даних).

Канонічно-кореляційний аналіз шукає таких векторів ${\displaystyle a}$ та ${\displaystyle b}$, що випадкові змінні ${\displaystyle a'X}$ та ${\displaystyle b'Y}$ максимізують кореляцію ${\displaystyle \rho =\operatorname {corr} (a'X,b'Y)}$. Випадкові змінні ${\displaystyle U=a'X}$ та ${\displaystyle V=b'Y}$ є першою парою канонічних змінних (англ. first pair of canonical variables). Потім шукають векторів, які максимізують ту саму кореляцію, з обмеженням, що вони не корелюють з першою парою канонічних змінних; це дає другу пару канонічних змінних (англ. second pair of canonical variables). Цю процедуру може бути продовжено аж до ${\displaystyle \min\{m,n\}}$ разів.

Нехай ${\displaystyle \Sigma _{XX}=\operatorname {cov} (X,X)}$, а ${\displaystyle \Sigma _{YY}=\operatorname {cov} (Y,Y)}$. Параметром для максимізації є

${\displaystyle \rho ={\frac {a'\Sigma _{XY}b}{{\sqrt {a'\Sigma _{XX}a}}{\sqrt {b'\Sigma _{YY}b}}}}.}$

Першим кроком є визначення заміни базису та визначення

${\displaystyle c=\Sigma _{XX}^{1/2}a,}$

${\displaystyle d=\Sigma _{YY}^{1/2}b.}$

І відтак ми маємо

${\displaystyle \rho ={\frac {c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c'c}}{\sqrt {d'd}}}}.}$

Згідно нерівності Коші — Буняковського, ми маємо

${\displaystyle \left(c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)d\leq \left(c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d'd\right)^{1/2},}$

${\displaystyle \rho \leq {\frac {\left(c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c'c\right)^{1/2}}}.}$

Рівність є тоді, коли вектори ${\displaystyle d}$ та ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$ є колінеарними. Крім того, максимум кореляції досягається тоді, коли ${\displaystyle c}$ є власним вектором матриці ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}}$ з максимальним власним значенням (див. відношення Релея). Подальші пари знаходять, використовуючи власні значення зменшуваної величини. Ортогональність гарантовано симетричністю кореляційних матриць.

Отже, розв'язанням є:

• ${\displaystyle c}$ є власним вектором ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}}$
• ${\displaystyle d}$ є пропорційним до ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$

Аналогічно,

• ${\displaystyle d}$ є власним вектором ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/2}}$
• ${\displaystyle c}$ є пропорційним до ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}$

Обертаючи зміну координат, отримуємо, що

• ${\displaystyle a}$ є власним вектором ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}}$
• ${\displaystyle b}$ є власним вектором ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}}$
• ${\displaystyle a}$ є пропорційним до ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}b}$
• ${\displaystyle b}$ є пропорційним до ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}a}$

Канонічні змінні визначаються як

${\displaystyle U=c'\Sigma _{XX}^{-1/2}X=a'X}$

${\displaystyle V=d'\Sigma _{YY}^{-1/2}Y=b'Y}$

ККА може бути обчислювано із застосуванням сингулярного розкладу кореляційної матриці.^[4] Він доступний як функція в^[5]

• MATLAB як canoncorr [Архівовано 30 серпня 2014 у Wayback Machine.]
• R як cancor [Архівовано 17 вересня 2020 у Wayback Machine.], або в FactoMineR [Архівовано 9 листопада 2020 у Wayback Machine.], або в CCP [Архівовано 21 грудня 2016 у Wayback Machine.]
• SAS^[en] як proc cancorr [Архівовано 26 липня 2017 у Wayback Machine.]
• scikit-learn, Python як Cross decomposition [Архівовано 18 вересня 2020 у Wayback Machine.]
• SPSS як макрос CanCorr, що постачається з основним програмним забезпеченням

Кожен рядок може бути перевірено на значущість за допомогою наступного методу. Оскільки кореляції впорядковуються, то якщо сказати, що рядок ${\displaystyle i}$ є нульовим, з цього випливатиме, що всі наступні кореляції також є нульовими. Якщо ми маємо в вибірці ${\displaystyle p}$ незалежних спостережень, а ${\displaystyle {\widehat {\rho }}_{i}}$ є оцінкою кореляції для ${\displaystyle i=1,\dots ,\min\{m,n\}}$, то для ${\displaystyle i}$-того рядка статистичним критерієм є

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

що для великих ${\displaystyle p}$ асимптотично має розподіл хі-квадрат з ${\displaystyle (m-i+1)(n-i+1)}$ ступенями вільності.^[6] Оскільки всі кореляції від ${\displaystyle \min\{m,n\}}$ до ${\displaystyle p}$ є логічно нульовими (і оцінюваними таким чином), то добуток членів після цієї точки не має значення.

Типовим застосуванням для канонічної кореляції в експериментальному контексті є брати два набори змінних, і дивитися, що є спільного між цими двома наборами. Наприклад, у психологічному тестуванні можна взяти два добре усталені багатовимірні особистісні тести^[en], такі як мінесотський багатопрофільний особистісний опитувальник (MMPI-2) та NEO^[en]. Дивлячись, як співвідносяться коефіцієнти MMPI-2 та NEO, можна отримати розуміння, які виміри були спільними для цих двох наборів, і скільки було спільної мінливості. Наприклад, можна було би з'ясувати, що виміри екстравертності та невротизму відповідальні за значну величину спільної мінливості цих двох наборів.

Канонічно-кореляційний аналіз також можна використовувати для вироблення рівняння моделі, яка пов'язує два набори змінних, наприклад, набір вимірів продуктивності та набір пояснювальних змінних, або набір виходів та набір входів. На таку модель може бути накладено обмеження, щоби забезпечити відображення нею теоретичних вимог або інтуїтивно очевидних умов. Цей тип моделі відомий як модель з максимальною кореляцією (англ. maximum correlation model).^[7]

Унаочнюють результати канонічної кореляції зазвичай за допомогою стовпчикових діаграм коефіцієнтів двох наборів змінних для пар канонічних варіат^[en], що показують значущу кореляцію. Деякі автори вважають, що їх найкраще унаочнювати через геліографіки (англ. heliographs), круговий формат із променями як стовпчики, де кожна з половин представляє по набору змінних.^[8]

Нехай ${\displaystyle X=x_{1}}$ з нульовим математичним сподіванням, тобто, ${\displaystyle \operatorname {E} (X)=0}$. Якщо ${\displaystyle Y=X}$, тобто ${\displaystyle X}$ та ${\displaystyle Y}$ є повністю корельованими, то, наприклад, ${\displaystyle a=1}$ та ${\displaystyle b=1}$, і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є ${\displaystyle U=X}$ та ${\displaystyle V=Y=X}$. Якщо ${\displaystyle Y=-X}$, тобто ${\displaystyle X}$ та ${\displaystyle Y}$ є повністю антикорельованими, то, наприклад, ${\displaystyle a=1}$ та ${\displaystyle b=-1}$, і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є ${\displaystyle U=X}$ та ${\displaystyle V=-Y=X}$. Зауважмо, що в обох випадках ${\displaystyle U=V}$, що показує, що канонічно-кореляційний аналіз трактує корельовані та антикорельовані змінні аналогічно.

Виходячи з того, що ${\displaystyle X=(x_{1},\dots ,x_{n})'}$ та ${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ мають нульові математичні сподівання, тобто ${\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=0}$, їхні коваріаційні матриці ${\displaystyle \Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX']}$ та ${\displaystyle \Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']}$ можна розглядати як матриці Грама у внутрішньому добутку для елементів ${\displaystyle X}$ та ${\displaystyle Y}$ відповідно. В цій інтерпретації випадкові змінні, елементи ${\displaystyle x_{i}}$ з ${\displaystyle X}$ та ${\displaystyle y_{j}}$ з ${\displaystyle Y}$, розглядають як елементи векторного простору з внутрішнім добутком, заданим коваріацією ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$, див. Зв'язок коваріації з внутрішніми добутками.

Тоді визначення канонічних змінних ${\displaystyle U}$ та ${\displaystyle V}$ є рівнозначним визначенню кореневих векторів^[en] для пари підпросторів, породжуваних елементами ${\displaystyle X}$ та ${\displaystyle Y}$ по відношенню до цього внутрішньому добутку. Канонічні кореляції ${\displaystyle \operatorname {corr} (U,V)}$ дорівнюють косинусові головних кутів^[en].

• Узагальнена канонічна кореляція^[en]
• Навчання полілінійного підпростору^[en]
• R_V-коефіцієнт^[en]
• Головні кути^[en]
• Метод головних компонент
• Дискримінантний аналіз
• Регуляризований канонічно-кореляційний аналіз^[en]
• Сингулярний розклад матриці
• Регресія частинних найменших квадратів^[en]

• Discriminant Correlation Analysis (DCA) [Архівовано 11 червня 2018 у Wayback Machine.]^[9] (MATLAB)
• Hardoon, D. R.; Szedmak, S.; Shawe-Taylor, J. (2004). Canonical Correlation Analysis: An Overview with Application to Learning Methods. Neural Computation. 16 (12): 2639—2664. doi:10.1162/0899766042321814. PMID 15516276. (англ.)
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores [Архівовано 18 вересня 2020 у Wayback Machine.] (також пропонує програму мовою FORTRAN) — в J. of Quantitative Economics 7(2), 2009, pp. 173–199 (англ.)
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (також пропонує програму мовою FORTRAN) — в J. of Applied Economic Sciences 4(1), 2009, pp. 115–124