Завісні втрати (англ. hinge loss) у машинному навчанні — це функція втрат, яка використовується для навчання класифікаторів.^[1] Завісні втрати використовують для максимальної розділової класифікації, здебільшого для опорних векторних машин (ОВМ). Для поміченого виходу t = ±1 та оцінки класифікатора y, завісна втрата передбачення y визначається як

${\displaystyle \ell (y)=\max(0,1-t\cdot y).}$

Варто зауважити, що тут y є «сирим» значенням функції прийняття рішення у класифікаторі, а не міткою класу. Наприклад, в лінійних ОВМ ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} +b}$, де ${\displaystyle (\mathbf {w} ,b)}$ є параметрами гіперплощини та ${\displaystyle \mathbf {x} }$ — точка, яку потрібно класифікувати.

Зрозуміло, що коли t та y мають однаковий знак (що означає, що y вказує на правильний клас) та ${\displaystyle |y|\geqslant 1}$, тоді завісні втрати ${\displaystyle \ell (y)=0}$, а коли вони мають різні знаки, то ${\displaystyle \ell (y)}$ зростає лінійно від y (одностороння помилка). На рисунку пояснюється, чому завісні втрати дають кращу оцінку втрат ніж функція нуль-один.

Хоч є поширеною практикою узагальнення бінарних ОВМ на багатокласову^[en] ОВМ у режимі один з усіх або один в один,^[2] також можливе узагальнення з використанням завісної функції. Було запропоновано декілька різних багатокласових завісних втрат.^[3] Наприклад, Крамер та Сінгер^[4] дали таке визначення у випадку лінійного класифікатора:^[5]

${\displaystyle \ell (y)=\max(0,1+\max _{t\neq y}\mathbf {w} _{t}\mathbf {x} -\mathbf {w} _{y}\mathbf {x} ).}$

Тут ${\displaystyle y}$ — мітка цілі, ${\displaystyle \mathbf {w} _{t}}$ та ${\displaystyle \mathbf {w} _{y}}$ — параметри моделі.

Вестон і Воткінс дали подібне визначення, але з сумою замість максимуму:^[6][3]

${\displaystyle \ell (y)=\sum _{t\neq y}\max(0,1+\mathbf {w} _{t}\mathbf {x} -\mathbf {w} _{y}\mathbf {x} ).}$

При структуровому передбачуванні завісні втрати можуть бути поширені на структуровані вихідні простори. Структурова опорно-векторна машина^[en] з масштабуванням розділення використовує наступний варіант, де w позначає параметри ОВМ, y — передбачення ОВМ, φ додає функцію ознак та Δ є відстанню Геммінга:

${\displaystyle {\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle ).\end{aligned}}}$

Завісні втрати є опуклою функцією, отже, опуклі оптимізатори, що використовуються у машинному навчанні, можуть працювати з ними. Це не диференційовна функція, проте вона має субградієнт відносно параметрів моделі w лінійної ОВМ з функцією оцінки ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} }$, який буде

${\displaystyle {\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}}$

Однак, оскільки похідна завісних втрат при ${\displaystyle ty=1}$ невизначена, то гладкий варіант, запропонований Ренні та Сребро, є більш бажаним для оптимізації^[7]

${\displaystyle \ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty\leq 1,\\0&{\text{if}}~~1\leq ty\end{cases}}}$

або квадратично гладкий

${\displaystyle \ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma \\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}}$

запропонований Чангом.^[8] Модифікований варіант втрат Губера^[en] ${\displaystyle L}$ є спеціальним випадком цієї функції втрат з ${\displaystyle \gamma =2}$, зокрема, ${\displaystyle L(t,y)=4\ell _{2}(y)}$.