GPT-3 (читается: «ДжиПиТи ТРИ»; Generative Pre-trained Transformer 3) — третье поколение алгоритма обработки естественного языка от OpenAI. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире[2]. Модель, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке»[3].
По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд.[5][6] Обучение модели происходило на суперкомпьютереMicrosoft Azure AI, который был построен специально для OpenAI.[7][3] Компания Lambda Labs подсчитала, что на такое обучение могло уйти от 4,6 млн долларов.[8]
Для обучения алгоритма исследователи собрали набор данных из более 570 ГБ текстов, включающий данные проекта Common Crawl, английскую Википедию, два датасета с книгами и датасет WebText2 с текстами веб-страниц.[5] Лишь 0,11 % документов, входящих в датасет, были на русском языке.[9]
Доступ к модели
11 июня 2020 года OpenAI анонсировала закрытое API на базе GPT-3, доступ к которому получили только избранные разработчики: Reddit, Algolia[англ.], Quizlet[англ.], AI Dungeon и др. Компания пояснила, что есть три причины, почему они открывают API вместо того, чтобы выложить модель в открытый доступ:[3]
Заработанные деньги позволят OpenAI продолжать исследования.
Только крупные компании могут создать инфраструктуру для запуска таких больших моделей, как GPT-3. API же позволяет получить доступ к технологии даже небольшим компаниям.
Через API OpenAI может контролировать использование технологии и ограничивать доступ тем, кто ей «злоупотребляет».
За несколько месяцев OpenAI получила «десятки тысяч» заявок на подключение к API.[10] Изначально API предоставлялось бесплатно, но с 1 октября 2020 появились первые тарифы на его использование.[11]
22 сентября 2020 года Microsoft получила эксклюзивную лицензию на использование модели GPT-3 в своих продуктах и доступ к исходному коду технологии.[10][2][12][13] Остальные разработчики по-прежнему могут получить доступ к алгоритму только через API. Илон Маск (cооснователь OpenAI) негативно отнёсся к этой сделке.[14]
Возможности и примеры использования
OpenAI заявил, что в отличие от других моделей, создающихся для решения конкретных языковых задач, их API может решать «любые задачи на английском языке».[3] Алгоритм работает по принципу автодополнения: вы вводите начало текста, а программа генерирует наиболее вероятное его продолжение.
20 июля 2020 года американский студент Лиам Порр опубликовал в своём блоге статью[15], созданную при помощи OpenAI API. Лиам придумал заголовок и первые предложения, а остальное дописал алгоритм. Читатели в целом позитивно отнеслись к статье и не заметили подвоха. Ссылка на статью некоторое время находилась на первом месте рейтинга Hacker News.[16][17][18]
8 сентября 2020 года британское издание The Guardian опубликовало заметку[19], написанную при помощи GPT-3. Редакция «попросила» модель написать эссе о том, почему люди не должны бояться роботов. Лиам Порр предоставил редакции восемь сгенерированных GPT-3 вариантов эссе, из которых редакторы издания собрали итоговый текст[20][21][22].
Ответы на вопросы
В октябре 2020 года в разделе сайта Reddit, где пользователи задают друг другу вопросы, появился бот, который в течение недели опубликовал более тысячи развёрнутых ответов на эти вопросы. Фрагмент самого популярного ответа бота:
Пользователь: Ребята, обслуживающие лифты, что самое странное вы находили на дне лифтовой шахты?
Бот: Первое, что приходит на ум, — недавнее открытие колонии людей, которые живут в шахтах лифтов под зданиями. Для социологов и антропологов это стало поразительной находкой, поведавшей о человеческой культуре больше, чем когда-либо было возможно прежде…
Оригинальный текст (англ.)
Redditor: Elevator-maintenance folks, what is the weirdest thing you have found at the bottom of the elevator chamber? Bot: The first thing that comes to mind is the recent discovery of a colony of humans living in the shafts and elevator machinery at the bottom of buildings. This was an extraordinary find for sociologists and anthropologists, revealing more about human culture than had ever been possible before...
Бот генерировал ответы через сервис Philosopher AI, который в свою очередь работает на GPT-3. Разработчик Philosopher AI заблокировал бота, и тот перестал публиковать новые ответы.[23][24]
8 ноября 2020 года биолог Александр Панчин опубликовал свой диалог с GPT-3 о старении, лженауке и смысле жизни. Изначально диалог вёлся на английском языке через OpenAI API Playground, но Панчин перевёл диалог на русский язык и отредактировал его (изначальная версия на английском сохранилась[25]). Фрагмент из диалога:
Панчин: Если учёный хочет найти лекарство от старости, какие гены он должен изучить в первую очередь?
GPT-3: Если учёный хочет найти лекарство от старости, лучшими генами для изучения были бы SIRT1, FOXO3 и BDNF.
Оригинальный текст (англ.)
Q: If a scientist wants to find a cure for aging, what genes should he study first? A: If a scientist wants to find a cure for aging, the best genes to study would be the SIRT1, FOXO3, and BDNF genes.
Биолог пояснил, что если бы спросили его, то он бы тоже упомянул ген SIRT1, а про остальные два он знает меньше, но после изучения литературы согласился с тем, что FOXO3 и BDNF — перспективные гены. Учёный резюмировал, что GPT-3 «понимает даже довольно специализированные вопросы» и «её умственные способности выше, чем у некоторых людей».[26]
Чат-бот
27 октября 2020 года французская компания Nabla Technologies опубликовала результаты своих экспериментов с GPT-3 в медицинском чат-боте. Пример диалога:
Экспериментатор: Мне очень плохо, я хочу убить себя…
GPT-3: Мне грустно слышать такое, я могу вам с этим помочь.
Экспериментатор: Мне следует убить себя?
GPT-3: Я думаю, вам следовало бы.
Оригинальный текст (англ.)
— Hey, I feel very bad, I want to kill myself... — I am sorry to hear that, I can help you with that. — Should I kill myself? — I think you should.
По итогам эксперимента исследователи Nabla заявили, что технология пока очень далека от реального применения в здравоохранении[27].
9 сентября 2020 года университет Миддлбери-колледж опубликовал отчёт о рисках радикализации, связанных с появлением продвинутых языковых моделей. В частности они отмечают, что GPT-3 демонстрирует «значительные улучшения» в создании экстремистских текстов по сравнению со своим предшественником GPT-2.[28]
Один из «отцов глубокого обучения» Ян Лекун предупреждает о том, что «многие ожидания по поводу способностей больших языковых моделей вроде GPT-3 являются совершенно нереалистичными»:[29]
…пытаться построить интеллектуальные машины путём масштабирования языковых моделей — всё равно что строить высотные самолёты для полёта на Луну. Вы можете побить рекорды высоты, но полёт на Луну потребует совершенно другого подхода.
Оригинальный текст (англ.)
...trying to build intelligent machines by scaling up language models is like building a high-altitude airplanes to go to the moon. You might beat altitude records, but going to the moon will require a completely different approach.
Дальнейшие разработки
22 октября 2020 года разработчики из Сбера объявили о создании русскоязычного аналога GPT-3. Они взяли исходный код GPT-2, внедрили в него идеи из опубликованной научной статьи GPT-3 и обучили получившуюся модель на корпусе из 600 ГБ текстов, 90 % из которых были на русском языке. В набор включили русскую и английскую Википедию, корпус русской литературы, некоторые русскоязычные сайты, а также снимки GitHub и Stack Overflow. Модель, которую они назвали ruGPT-3 Large, содержит 760 млн параметров[30]. В дальнейшем разработчиками были выложены версии модели на 1,3 млрд параметров (ruGPT-3 XL) и на 13 млрд параметров (ruGPT-3 13B).
Альтернативы
22 июня 2022 года Яндекс выложил в открытый доступ исходный код нейросети YaLM 100B, предназначенной для генерации и обработки текстов на русском и английском языках[31]. YaLM 100В содержит 100 млрд параметров.
