OpenAI — це лабораторія досліджень штучного інтелекту, що складається з комерційної корпорації OpenAI LP та її материнської компанії, неприбуткової OpenAI Inc.
Цю організацію наприкінці 2015 року в Сан-Франциско заснували Ілон Маск, Сем Альтман та інші, що поручилися спільно вкласти 1 млрд доларів США. Маск подав у відставку з правління в лютому 2018 року, але залишився донором. 2019 року OpenAI LP отримала 1 млрд доларів США інвестицій від Microsoft.
Також її вважають лідером і конкурентом DeepMind, що проводить дослідження в галузі штучного інтелекту (ШІ) із заявленою метою просування та розробки дружньогосильного ШІ у такий спосіб, щоби він приносив користь людству.
В березні 2023 року деякі дослідники описали своє дослідження нецензурованої версії ChatGPT на базі GPT-4, що доступна тільки для розробників в OpenAI, ранньою та неповною версією сильного штучного інтелекту (AGI)[11]. В середині квітня 2023 року Сем Альтман заявив, що компанія поки припинила тренування GPT-5, у відповідь на лист[12] з відповідним проханням від 50 тисяч людей, зокрема більше 1800 CEO та 1500 професорів, та, зокрема, Ілона Маска, Стіва Возняка, Юваль Гарарі та багато інших людей[13].
Історія
Будівля Піонер у Сан-Франциско, в якій розміщено офіси OpenAI та Neuralink
У жовтні 2015 року Ілон Маск, Сем Альтман та інші інвестори оголосили про створення OpenAI та пообіцяли вкласти до цього підприємства понад 1 мільярд доларів США. Ця організація заявила, що вони «вільно співпрацюватимуть» з іншими установами та дослідниками, роблячи свої патенти та дослідження відкритими для громадськості[14][15].
27 квітня 2016 року випустила публічну бету OpenAI Gym, їхньої платформи для досліджень навчання з підкріпленням[16].
5 грудня 2016 року випустила Universe, програмну платформу для вимірювання та тренування сильного інтелекту ШІ над світовим запасом ігор, вебсайтів та інших застосувань[17][18][19][20].
21 лютого 2018 року, Ілон Маск подав у відставку зі своєї посади в правлінні, пославшись на «потенційний майбутній конфлікт (інтересів)» з розробкою ШІ Тесла для самокерованих автівок[en], але залишився донором[21].
Після переходу OpenAI від некомерційності до комерційності, компанія розподілила акції серед своїх працівників[24] та уклала партнерство з корпорацією Microsoft, яка оголосила про інвестиційний пакет в цю компанію в розмірі 1 мільярда доларів США. OpenAI відтак оголосила про свій намір комерційно ліцензувати свої технології, з Microsoft у ролі свого привілейованого партнера[25].
В червні 2020 року, OpenAI анонсувала GPT-3, мовну модель, натреновану на трильйонах слів з Інтернету. Вона також анонсувала, що пов'язаний ППІ, названий просто «the API», стане серцем її першого комерційного продукту. GPT-3 призначено для відповідання на питання природною мовою, але вона також може перекладати між мовами, та зв'язно породжувати імпровізований текст[26].
20 листопада 2023 року, згідно листа, оприлюдненому у Wall Street Journal[27], 514 із 700 співробітників OpenAI пригрозили своїм звільненням. Вони вимагають від ради директорів піти у відставку після того, як ті, 18 листопада 2023 року, усунули з посади гендиректора Сема Альтмана[28].
Учасники
Генеральний директор: Сем Альтман, колишній президент акселератора стартапів Y Combinator[29]. Згідно повідомлення британської компанії суспільного телерадіомовлення ВВС, Рада директорів компанії OpenAI18 листопада2023 року звільнила Сема Альтмана з посади Генерального директора через втрату впевненості в його здатності керувати компанією[30][31].
Директор з досліджень: Ілля Суцкевер, колишній експерт Google з машинного навчання[32].
Ця група почала свою роботу на початку 2016 року з дев'яти дослідників. Згідно з Wired, Брокман зустрівся з Йошуа Бенжіо[en], одним із «батьків-засновників» руху глибокого навчання, та склав перелік «найкращих дослідників у галузі». Пітер Лі[en] з Microsoft зазначив, що вартість топового дослідника ШІ перевищує вартість топового перспективного захисника НФЛ. В той час як OpenAI платить зарплатні корпоративного (а не неприбуткового) рівня, вона наразі не платить дослідникам ШІ зарплатні, порівнянні з зарплатнею в Facebook чи Google. Однак Суцкевер зазначив, що він був готовий залишити Google заради OpenAI «частково через дуже сильну групу людей, і, дуже значною мірою, через її місію». Брокман зазначив, що «найкращою річчю, яку я міг би уявити, що я робитиму, було наближення людства до справжнього ШІ безпечним способом». Дослідник OpenAIВойцех Заремба зазначив, що він відхилив «гранично шалені» пропозиції, вдвічі чи втричі більші за його ринкову вартість, щоби приєднатися натомість до OpenAI[37].
Мотиви
Деякі науковці, такі як Стівен Гокінг та Стюарт Расселл[en], висловлювали занепокоєння, що якщо вдосконалений ШІ колись отримає здатність перебудовувати себе в темпі, що постійно зростає, то нестримний «вибух інтелекту» може призвести до зникнення людства. Маск характеризує ШІ як «найбільшу екзистенційну загрозу» для людства[38] Засновники OpenAI структурували її як неприбуткову, щоби могти зосередити свої дослідження та створенні позитивного довготривалого впливу на людей[15].
Маск та Альтман заявили, що їх частково мотивує занепокоєння екзистенційним ризиком від сильного штучного інтелекту[en][39][37]. OpenAI заявляє, що «важко оцінити, наскільки велику користь може принести суспільству ШІ людського рівня», і що не менш важко збагнути, «наскільки великої шкоди він може завдати суспільству, якщо його побудувати або використовувати неправильно»[15]. Дослідження безпечності неможливо безпечно відкласти, «оскільки через несподіваність історії ШІ неможливо передбачити, коли ШІ людського рівня може опинитися в межах досяжності»[40]. OpenAI заявляє, що ШІ «повинен бути продовженням особистої людської волі та, в ім'я духу свободи, бути поширеним настільки широко й рівномірно, наскільки це можливо…»[15] і це ставлення було виражено й в іншому місці, стосовно потенційно величезного класу продуктів з ШІ: «Чи справді ми готові дозволити нашому суспільству стати просоченим автономними програмними та апаратними агентами, деталі роботи яких є відомими лише деяким обраним? Звісно, ні.»[41]. Співголова Сем Альтман очікує, що на проєкт з перевершення людського інтелекту підуть десятиліття[42].
Вішал Сікка[en], колишній генеральний директор Infosys, заявив, що «відкритість», коли ці зусилля будуть «давати результати загалом в інтересах людства», була основоположною вимогою для підтримки з його боку, і що OpenAI «дуже добре узгоджується з нашими усталеними цінностями» та їхнім «намаганням робити цілеспрямовану роботу»[43]. Кейд Мец з Wired припускає, що такі корпорації як Amazon можуть бути вмотивованими бажанням використовувати відкрите програмне забезпечення та дані, щоби вирівнювати умови боротьби з такими корпораціями як Google та Facebook, що володіють величезними запасами власних даних. Альтман заявляє, що компанії Y Combinator ділитимуться своїми даними з OpenAI[42].
2019 року OpenAI стала комерційною компанією, названою OpenAI LP, щоби забезпечити додаткове фінансування, залишаючись під контролем неприбуткової компанії, званої OpenAI Inc, у структурі, яку OpenAI називає «capped-profit»[44], до того бувши неприбутковою організацією 501(c)(3)[45][46].
Стратегія
Маск поставив питання: «що є найкращим, що ми можемо зробити, щоби забезпечити, щоби майбутнє було добрим? Ми могли би сидіти осторонь, або ми можемо заохочувати регуляторний нагляд, або ми могли би брати участь у правильній структурі з людьми, які глибоко піклуються розвитком ШІ у спосіб, що є безпечним та корисним для людства.» Маск визнав, що «завжди існує деякий ризик того, що насправді намагаючись вдосконалити (дружній) ШІ, ми можемо створити річ, яка нас турбує»; менше з тим, найкращим захистом є «наділити якомога більше людей можливістю мати ШІ. Якщо кожен володіє силами ШІ, то не існує єдиної людини чи невеликої групи людей, які можуть мати суперсилу ШІ»[32].
Контрінтуїтивна стратегія Маска та Альтмана намагатися знизити ризик нанесення штучним інтелектом загальної шкоди, надаючи його кожному, є спірною для стурбованих екзистенційним ризиком від штучного інтелекту[en]. Філософ Нік Бостром ставиться до підходу Маска скептично: «Якщо у вас є кнопка, яка може робити світові погані речі, ви не хочете давати її всім.»[37] Протягом дискусії 2016 року про технологічну сингулярність Альтман сказав, що «ми не плануємо випускати весь наш сирцевий код», та сказав про план «дозволити широким прошаркам світу обирати представників до нової керівної ради». Грег Брокман заявив, що «Нашою метою просто зараз… є робити найкраще, що можливо робити. Це є трошки розмитим»[47].
І навпаки, первинне рішення OpenAI притримати GPT-2 через бажання «перестрахуватися» за наявності потенційних зловживань було розкритиковано прихильниками відкритості. Деліп Рао, експерт із породжування тексту, заявив: «Я не думаю, що [OpenAI] витратили достатньо часу на доведення того, що [GPT-2] була справді небезпечною.» Інші критики стверджували, що відкрита публікація є необхідною для того, щоби відтворити це дослідження, та мати можливість вживати контрзаходів[48].
У 2017 податковому році OpenAI витратила 7,9 мільйона доларів США, або чверть своїх функціональних витрат, на самі лише хмарні обчислення[49] Для порівняння, загальні витрати DeepMind 2017 року були набагато більшими, склавши 442 мільйони доларів США. Влітку 2018 року просто тренування ботів Dota 2OpenAI вимагало оренди в Google 128 000 ЦП та 256 ГП протягом декількох тижнів. Згідно з OpenAI, модель «capped-profit», прийнята в березні 2019 року, дозволяє OpenAI LP законно залучати інвестиції від венчурних фондів, та, на додачу, надавати працівникам частки в компанії, з метою, щоби вони могли сказати «я збираюся Відкрити ШІ (англ.Open AI), але в довгостроковій перспективі це не буде невигідним для нас як для сім'ї»[50]. Багато провідних дослідників працюють у Google Brain, DeepMind та Facebook, Inc., які пропонують права на акції, що для неприбуткової компанії було би неможливим[51]. У червні 2019 року OpenAI LP залучила мільярд доларів від Microsoft, суму, яку OpenAI планує витратити «протягом п'яти років, можливо, набагато швидше»[52] Альтман заявив, що навіть мільярд доларів може виявитися недостатнім, і що в кінцевому підсумку лабораторії може знадобитися «більше капіталу, ніж будь-коли залучала будь-яка неприбуткова організація», щоби досягти СШІ[53].
Перехід від неприбуткової компанії до «capped-profit» скептично сприйняв Орен Етціоні[en] з неприбуткового Інституту Аллена з питань ШІ[en], погодившись, що засватати провідних дослідників до неприбуткової організації складно, але зауваживши «я не згоден з думкою, що неприбуткова організація не може конкурувати», й указавши на успішні низькобюджетні проєкти від OpenAI та інших. «Якби більші й краще фінансовані завжди були кращими, то IBM все ще були би номером один.» Після цього переходу публічне розкриття даних про винагороду провідних працівників OpenAI LP вже не є обов'язковим за законом. Неприбуткова OpenAI Inc. є єдиним контрольним акціонером[en]OpenAI LP. Незважаючи на те, що OpenAI LP є комерційною компанією, вона зберігає формальну фідуціарну відповідальність[en] за неприбутковий статут OpenAI's Inc. Більшості правління OpenAI Inc. заборонено мати фінансові долі в OpenAI LP[50]. Крім того, міноритарні члени з долями в OpenAI LP не мають права голосу в деяких питаннях через конфлікт інтересів[51] Деякі дослідники стверджують, що перехід OpenAI LP до комерційного статусу є несумісним із претензіями OpenAI на те, що вони «демократизують» ШІ[54]. Журналіст із Vice News[en] написав, що «загалом, ми ніколи не могли покладатися на венчурних капіталістів задля покращення людства»[55].
Gym (укр.тренажерний зал) має на меті забезпечити простий для налаштування еталонний тест сильного інтелекту з широким спектром різних середовищ — дещо схожий, але ширший за Широкомасштабне випробування з візуального розпізнавання ImageNet[en], яке використовують у дослідженнях керованого навчання — і на який покладають надію стандартизувати спосіб, у який визначають середовища для публікацій досліджень ШІ, щоби опубліковані результати стали легшими для відтворення[16][57]. Проєкт претендує на те, що він надає користувачеві простий інтерфейс. Станом на червень 2017 року Gym було можливо використовувати лише з Python[58]. Станом на вересень 2017 року сайт документації Gym не підтримувався, а активну працю було натомість зосереджено на його сторінці в GitHub[59].
RoboSumo
В RoboSumo віртуальним гуманоїдним роботам «метанавчання» первинно бракує знання навіть про те, як ходити, і їм поставлено задачу навчитися рухатися, й виштовхнути агента—опонента за межі кола. Завдяки цьому змагальному процесу навчання ці агенти вчаться, як пристосовуватися до змінюваних умов. Коли агента потім забирають із цього віртуального середовища, й розміщують у новому віртуальному середовищі з сильними вітрами, агент упирається, щоби лишатися стоячим, що дає можливість припустити, що він навчився втримувати рівновагу в загальному сенсі[60][61]. Ігор Мордач з OpenAI стверджує, що це змагання між агентами може створити інтелектуальні «перегони озброєнь», які можуть підвищити здатність агента функціювати, навіть поза контекстом цього змагання.
Debate Game
2018 року OpenAI запустила Debate Game (англ.дебатну гру), яка вчить машини вести дебати про модельні задачі перед людським суддею. Метою є дослідити, чи може такий підхід допомогти в аудиті рішень ШІ та в розробці поясненного ШІ[62][63].
Dactyl
Dactyl використовує машинне навчання, щоби тренувати роботизовану руку Shadow Hand[en] з нуля, використовуючи той самий алгоритм навчання з підкріпленням, що й OpenAI Five. Цю роботизовану руку тренують повністю в фізично неточній імітації[64][65].
Породжувальні моделі
GPT
Первинну працю про породжувальне попереднє тренування (англ.generative pre-training, GPT) моделі мови було написано Алеком Редфордом з колегами, й опубліковано в сигнальнім примірнику на вебсайті OpenAI 11 червня 2018 року[66]. Вона показала, як породжувальна модель мови здатна здобувати знання про світ та оброблювати дальні залежності шляхом попереднього тренування на різноманітнім корпусі з протяжними відрізками дотичного тексту.
GPT-2
Примірник GPT-2 пише абзац на основі підказки з цієї статті.
Сюди перенаправляється запит «GPT-2». На цю тему потрібна окрема стаття.
Породжувальний попередньо натренований трансформер 2 (англ.Generative Pre-trained Transformer 2), широко відомий за своєю скороченою назвою GPT-2, є некерованоютрансформерноюмоделлю мови, та наступником GPT. GPT-2 було вперше анонсовано в лютому 2019 року, з лише обмеженими демонстративними версіями, первинно доступними публічно. Повну версію GPT-2 не було випущено негайно через занепокоєння потенційним зловживанням, включно із застосуванням для написання фейкових новин[67]. Деякі експерти висловили скептицизм стосовно того, чи становив GPT-2 значну загрозу. Інститут Аллена з питань штучного інтелекту[en] відповів на GPT-2 інструментом для виявляння «нейронних фейкових новин»[68]. Інші дослідники, такі як Джеремі Говард, застерегли, що «ця технологія вщент заповнить Твіттер, електронну пошту та веб стерпною контекстно доречною прозою, яка заглушить всю решту мовлення, і яку буде неможливо відфільтровувати»[69] В листопаді 2019 року OpenAI випустили повну версію моделі мови GPT-2[70] Декілька вебсайтів розміщують інтерактивні демонстрації різних примірників GPT-2 та інших трансформерних моделей[71][72].
Автори GPT-2 стверджують, що некеровані моделі мови є системами навчання загального призначення, ілюструючи це досяганням GPT-2 найвищого рівня точності та перплексивності на 7 з 8 нульпоглядових[en] задач (тобто, коли модель не зазнавала подальшого тренування на будь-яких специфічних для задачі зразках входів—виходів). Корпус, на якому її було натреновано, званий WebText, містить трохи більше 8 мільйонів документів загальним об'ємом 40 ГБ тексту з адрес, якими ділились у відправленнях Reddit із щонайменше 3 вподобайками. Вона уникає певних проблем кодування словника лексемами слів завдяки застосуванню діграмного кодування[en]. Це дозволяє представляти будь-який рядок символів кодуванням як окремих символів, так і кількасимвольних лексем[73].
Породжувальний попередньо натренований[a] трансформер 3 (англ.Generative Pre-trained Transformer 3), широко відомий за своєю скороченою назвою GPT-3, є некерованоютрансформерноюмоделлю мови, та наступником GPT-2. Його було вперше описано в травні 2020 року[75][76][77]OpenAI заявляє, що повна версія GPT-3 містить 175 мільярдів параметрів,[77] на два порядки більше, ніж 1,5 мільярди параметрів[78] у повній версії GPT-2 (хоча було треновано моделі GPT-3 і з усього лише 125 мільйонами параметрів)[79].
GPT-3 різко покращила результати в еталонних тестах у порівнянні з GPT-2. OpenAI застерігає, що таке збільшення масштабу моделей мови може наближатися до фундаментальних обмежень здатностей передбачувальних мовних моделей, або стикатися з ними[80]. Для попереднього тренування GPT-3 знадобилося декілька тисяч петафлоп/с-днів[b] розрахунків, порівняно з десятками петафлоп/с-днів для повної моделі GPT-2[77]. Як і в його попередника[67] повністю натреновану модель GPT-3 не було негайно оприлюднено на підставі можливих зловживань, хоча OpenAI планувала дозволити доступ через платний хмарний ППІ після двомісячного безкоштовного приватного бета-тестування, що почалося в червні 2020 року[82][83].
23 вересня 2020 року ліцензію на GPT-3 було ексклюзивно надано компанії Microsoft[84][85].
ChatGPT розроблений на основі моделі OpenAI GPT-3.5 — покращеної версія GPT-3[86].
Прототип ChatGPT було випущено 30 листопада 2022 року. Через детальність та ясність відповідей, його популярність виросла неймовірно швидко, хоча фактична точність цих відповідей підлягала критиці.
OpenAI внесла Україну у список держав поруч з такими країнами, як Іран, Росія та Венесуела та заборонила доступ до своїх продуктів, зокрема до ChatGPT[87]. Сервіси OpenAI стали доступними в Україні з 18 лютого 2023 року, проте не працюватимуть на тимчасово окупованих рф територіях[88][89].
Музика
MuseNetOpenAI (2019) — це глибока нейронна мережа, натренована передбачувати наступні музичні ноти в музичних файлах MIDI. Вона може породжувати музичні композиції з десятьма різними інструментами п'ятнадцятьма різними стилями. Згідно з The Verge, музичні композиції, породжувані MuseNet, мають схильність починатися стерпно, але потім впадають у хаос, що довше вона грає[90][91].
Jukebox (укр.музичний автомат) OpenAI (2020) — це алгоритм з відкритим кодом для породжування музики з вокалом. Після тренування на 1,2 мільйона зразків ця система приймає жанр, виконавця, та фрагмент тексту пісні, й видає зразки пісень. OpenAI заявляє, що ці пісні «демонструють локальну музичну узгодженість, дотримуються традиційних послідовностей акордів», але визнає, що цим пісням бракує «знайомих музичних структур більшого розміру, таких як повторювані хорові фрагменти», і що «існує значний розрив» між Jukebox та музикою, яку породжують люди. The Verge заявив, що «Це є технологічно вражаючим, навіть якщо результати звучать як м'які версії пісень, що можуть здаватися знайомими», тоді як Business Insider зазначив, що «несподівано, деякі отримані в результаті пісні є привабливими, й звучать допустимо»[92][93][94].
ППІ
У червні 2020 року, OpenAI анонсувала багатоцільовий ППІ, який, як вони сказали, був «для доступу до нових моделей ШІ, розроблених OpenAI», щоби дозволити розробникам робити виклики до нього для «будь-якої задачі ШІ для англійської мови»[82][95].
OpenAI Five — це назва команди з п'яти опікуваних OpenAIботів, яких використовують у конкурентній відеогрі Dota 2 п'ять на п'ять, і які вчаться грати проти гравців-людей на високому рівні майстерності, цілком через алгоритми спроб і помилок. До того, як вони стали командою з п'яти, перший публічний показ відбувся на The International 2017, щорічному прем'єрному турнірі чемпіонату з цієї гри, де Dendi, фаховий український гравець, програв ботові в поєдинку наживо 1 на 1[96][97]. Після цього поєдинку технічний директор Грег Брокман пояснив, що цей бот вивчився, граючи проти самого себе протягом двох тижнів реального часу[en], і що це програмне забезпечення навчання було кроком у напрямку створення програмного забезпечення, що може виконувати складні задачі з хірургічною точністю[98][99]. Ця система використовує різновид навчання з підкріпленням, оскільки боти вчаться з часом, граючи проти самих себе сотні разів на день протягом місяців, й отримують винагороду за такі дії як вбивство ворога та взяття цілей на мапі[100][101][102].
Станом на червень 2018 року можливості цих ботів розширилися до гри разом у складі повної команди з п'яти гравців, і вони виявилися здатними перемагати команди аматорських та напівфахових гравців[103][100][104][105]. На The International 2018OpenAI Five зіграла у двох показових поєдинках проти фахових гравців, але закінчила програшем в обох іграх[106][107][108]. У квітні 2019 року OpenAI Five перемогла OG, чинних чемпіонів світу з цієї гри на той момент, з рахунком 2:0 у показовому поєдинку наживо в Сан-Франциско[109][110]. Останній публічний виступ цих ботів відбувся пізніше того ж місяця, де вони зіграли загалом 42 729 ігор у чотириденному відкритому змаганні онлайн, вигравши 99,4 % цих ігор[111].
GYM Retro
Gym Retro — це платформа для досліджування навчання з підкріпленням на іграх. Gym Retro використовують для досліджування алгоритмів НП та вивчення узагальнювання. Попередні дослідження НП зосереджувалися переважно на оптимізуванні агентів для розв'язування окремих задач. Gym Retro уможливлює узагальнювання між іграми з подібними поняттями, але різним зовнішнім виглядом.
Конфіденційність
В липні 2024 року видання The New York Times повідомило, що в 2023 році хакер проник у внутрішню систему компанії - розробника штучного інтелекту OpenAI і вкрав дані про технології ШІ. А саме, зловмисник отримав доступ до записів дискусій на онлайн-форумі, де співробітники OpenAI обговорювали новітні розробки ШІ. Керівництво OpenAI проінформувало про злом співробітників на загальних зборах у квітні 2023 року, а також раду директорів компанії, але вирішило не повідомляти про це публічно, оскільки інформація про клієнтів або партнерів фірми не була вкрадена[112].
Судові позови
У вересні 2023 року, за повідомленням повідомляє The Verge, OpenAI опинилася під судовим тиском від групи популярних письменників, які звинувачують її у крадіжці та незаконному використанні їхніх робіт. 17 відомих письменників, серед яких Джонатан Франзен, Джон Грішем, Джордж Р. Р. Мартін та Джоді Піколт, подали скаргу до суду Південного округу Нью-Йорку (США), яка, як вони сподіваються, буде класифікована як груповий позов. Згідно зі скаргою, OpenAI «копіювала роботи позивачів оптом, без дозволу та розгляду» та використовувала захищені авторським правом матеріали для навчання великих мовних моделей, таких як ChatGPT та LLaMA. Позивачі стверджують, що таке використання їхнього контенту ставить під загрозу їхнє джерело прибутку та порушує їхнє право на контроль над своїми творами[113].
29 лютого 2024 року, Ілон Маск подав позов до суду Сан-Франциско на OpenAI та її генерального директора Сема Альтмана, заявляючи, що компанія відмовилася від засновницької місії щодо розробки штучного інтелекту «на благо людства»[114][115].
↑Statement on AI Risk: Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war. — CAIS, 2023.
↑Greg Brockman; John Schulman (27 квітня 2016). OpenAI Gym Beta. OpenAI Blog(амер.). OpenAI. Архів оригіналу за 26 лютого 2019. Процитовано 29 квітня 2016. (англ.)
↑Ganesh, Prakhar (17 грудня 2019). Pre-trained Language Models: Simplified. Процитовано 9 вересня 2020. Ідея попередньо натренованих моделей мови полягає в створенні чорної скриньки, яка розуміє мову, і яку відтак можливо просити виконати будь-яку конкретну задачу цією мовою.(англ.)
↑openai/gpt-3. OpenAI. 29 травня 2020. Архів оригіналу за 14 листопада 2020. Процитовано 29 травня 2020. (англ.)
↑Brown, Tom; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini (1 червня 2020). Language Models are Few-Shot Learners. arXiv:2005.14165 [cs.CL]. Since we increase the capacity by over two orders of magnitude from GPT-2 to GPT-3(англ.)
↑Amodei, Dario; Hernandez, Danny (16 травня 2018). AI and Compute. Архів оригіналу за 17 червня 2020. Процитовано 9 листопада 2020. Один петафлоп/с-день (пфс-день, англ.petaflop/s-day, pfs-day) складається з виконання 1015 нейромережних операцій за секунду протягом одного дня, або загалом близько 1020 операцій. Цей розрахунково-часовий добуток слугує розумовій зручності, як кВт-год для електроенергії.(англ.)
↑ абOpenAI API. OpenAI(англ.). 11 червня 2020. Архів оригіналу за 11 червня 2020. Процитовано 14 червня 2020. Чому OpenAI вирішила випустити ППІ замість відкривання коду цих моделей? Є три головні причини, через які ми це зробили. По-перше, комерціалізація цієї технології допомагає нам оплачувати наші поточні зусилля з дослідження ШІ, його безпеки та поведінки. По-друге, багато моделей, які лежать в основі цього ППІ, є дуже великими, вимагаючи великого досвіду для розробки та розгортання, й роблячи їх дуже дорогими для запускання. Це робить важким для будь-кого, крім великих компаній, отримувати вигоду від технології, що лежить в їх основі. Ми сподіваємося, що цей ППІ зробить системи з потужним ШІ доступнішими для малих бізнесів та організацій. По-третє, модель ППІ дозволяє нам простіше реагувати на зловживання цією технологією. Оскільки складно передбачити подальше використання наших моделей, ми відчуваємо, що природно безпечніше випускати їх через ППІ, й розширювати доступ з часом, замість випускати відкриту модель, доступ до якої неможливо буде регулювати, якщо виявиться, що вона має шкідливі застосування.(англ.)
↑Jukebox. OpenAI. Архів оригіналу за 8 червня 2020. Процитовано 8 червня 2020. (англ.)
↑TechCrunch – Startup and Technology News. TechCrunch. Архів оригіналу за 12 червня 2020. Процитовано 11 червня 2020. Якщо вам колись хотілося спробувати хвалений інструментарій машинного навчання OpenAI, то це стало набагато простішим. Ця компанія випустила ППІ, який дозволяє розробникам робити виклики її інструментів ШІ у „практично будь-якій задачі для англійської мови“”(англ.)
_-1.jpg)
