Увага — це все, що вам треба

Ілюстрація основних складових трансформерної моделі з цієї статті

«Увага — це все, що вам треба» (англ. Attention Is All You Need) — це наукова стаття 2017 року від Google.[1] Створена вісьмома науковцями, вона була покликана поширити механізми уваги 2014 року, запропоновані Багдановим зі співавторами, на нову архітектуру глибокого навчання, відому як трансформер. Цю статтю вважають засадничим документом сучасного штучного інтелекту, оскільки трансформери стали основною архітектурою великих мовних моделей.[2][3] На той час це дослідження зосереджувалося на покращенні методик seq2seq[en] для машинного перекладу, але навіть у своїй статті автори бачили потенціал для інших завдань, як-от відповідання на питання, та для того, що зараз називають мультимодальним породжувальним ШІ.

Станом на 2024 цю статтю процитували понад 100 000 разів. Усі вісім авторів покинули Google.[4]

Ноам Шазір і ще 7 дослідників Google, серед яких був і українець Ілля Полосухін є авторами статті.

Примітки

  1. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). Attention is All you Need (PDF). Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 30.
  2. ↑ Toews, Rob (3 вересня 2023). Transformers Revolutionized AI. What Will Replace Them?. Forbes (англ.). Архів оригіналу за 26 вересня 2023. Процитовано 3 грудня 2023.
  3. ↑ Murgia, Madhumita (23 липня 2023). Transformers: the Google scientists who pioneered an AI revolution. Financial Times (англ.). Архів оригіналу за 30 листопада 2023. Процитовано 3 грудня 2023.
  4. ↑ Meet the $4 Billion AI Superstars That Google Lost. Bloomberg (англ.). 13 липня 2023 — через www.bloomberg.com.


Штучний інтелект Це незавершена стаття зі штучного інтелекту.
Ви можете допомогти проєкту, виправивши або дописавши її.