GPT-3

Generative Pre-trained Transformer 3 (GPT-3) là một mô hình ngôn ngữ lớn được phát hành bởi OpenAI vào năm 2020. Giống như phiên bản tiền nhiệm của nó, GPT-2, đây là một mô hình transformer chỉ chứa bộ giải mã của mạng nơ-ron sâu, nó vượt trội hơn các kiến trúc dựa trên hồi quy và tích chập bằng kỹ thuật được gọi là ("cơ chế chú ý" hay "attention").[1] Cơ chế chú ý này cho phép mô hình tập trung lựa chọn vào các phân đoạn văn bản đầu vào mà nó dự đoán là liên quan nhất.[2] Nó sử dụng ngữ cảnh dài 2048-token, độ chính xác float16 (16-bit) và 175 tỷ tham số chưa từng có trước đó, yêu cầu 350GB dung lượng lưu trữ vì mỗi tham số chiếm 2 byte không gian, và đã thể hiện khả năng học "zero-shot" và "few-shot" tốt trên nhiều nhiệm vụ.[3]

Vào ngày 22 tháng 9 năm 2020, Microsoft thông báo rằng họ đã đạt được giấy phép độc quyền GPT-3. Người dùng khác vẫn có thể nhận đầu ra từ API công cộng của nó, nhưng chỉ Microsoft mới có quyền truy cập vào mô hình cơ bản.[4]

Tham khảo

  1. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). “Attention is All you Need” (PDF). Advances in Neural Information Processing Systems. Curran Associates, Inc. 30.
  2. ^ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (1 September 2014). "Neural Machine Translation by Jointly Learning to Align and Translate". arΧiv:1409.0473 [cs.CL]. 
  3. ^ Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (11 tháng 6 năm 2018). “Improving Language Understanding by Generative Pre-Training” (PDF). tr. 12. Lưu trữ (PDF) bản gốc ngày 26 tháng 1 năm 2021. Truy cập ngày 31 tháng 7 năm 2020.
  4. ^ Hao, Karen (23 tháng 9 năm 2020). “OpenAI is giving Microsoft exclusive access to its GPT-3 language model”. MIT Technology Review (bằng tiếng Anh). Lưu trữ bản gốc ngày 5 tháng 2 năm 2021. Truy cập ngày 25 tháng 9 năm 2020. Các công ty cho biết OpenAI sẽ tiếp tục cung cấp API hướng đến công chúng của mình, cho phép người dùng được chọn gửi văn bản đến GPT-3 hoặc các mô hình khác của OpenAI và nhận đầu ra của nó. Tuy nhiên, chỉ Microsoft mới có quyền truy cập vào mã nguồn cơ bản của GPT-3, cho phép họ nhúng, tái sử dụng và sửa đổi mô hình theo ý muốn.

Read other articles:

June Eric-Udorie

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada November 2022. June Eric-UdorieIsabelle Higgins, June Nwando Eric-Udorie, and Tiseke Chilima, the young moderators of Girl Summit 2014Lahir18 Juni 1998 (umur 25)Dublin, IrelandKebangsaanBritish, Nigerian, IrishPendidikanDowne House SchoolDikenal atasFeminism, a...

 

1985 Austrian diethylene glycol wine scandal

Wine fraudThe 1985 Austrian diethylene glycol wine scandal (German: Glykolwein-Skandal) was an incident in which several Austrian wineries illegally adulterated their wines using the toxic substance diethylene glycol (a minor ingredient in some brands of antifreeze) to make the wines taste sweeter and more full-bodied in the style of late harvest wines.[1] Many of these Austrian wines were exported to West Germany, some of them in bulk to be bottled at large-scale West German bottling...

 

Ibrahim Isaac Sidrak

His BeatitudeIbrahim Isaac SidrakPatriark Katolik Koptik dari AleksandriaIbrahim Isaac Sidrak, 2014.GerejaGereja Katolik KoptikMasa jabatan15 Januari 2013 – sekarangPendahuluAntonios I NaguibJabatan lainUskup AleksandriaImamatTahbisan imam7 Februari 1980Tahbisan uskup15 November 2002oleh Stéphanos II GhattasInformasi pribadiNama lahirIbrahim Isaac SidrakLahir19 Agustus 1955 (umur 68)Beni-Chokeir, MesirKewarganegaraanMesirDenominasiGereja Katolik KoptikJabatan sebelumnyaUskup Miny...

45e régiment du génie de l'air

Cet article est une ébauche concernant une unité ou formation militaire française. Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants. 45e régiment du génie de l'air Insigne régimentaire du 45e Bataillon du Génie de l’Air Création 1956-1980 Dissolution 1993-1996 Pays France Branche Armée de Terre pour administration Armée de l'air pour emploi Type Régiment du Génie Rôle construction et de maintien...

 

4 My Town (Play Ball)

2009 single by Birdman featuring Drake and Lil Wayne4 My Town (Play Ball)Single by Birdman featuring Drake and Lil Waynefrom the album Priceless ReleasedDecember 7, 2009GenreHip hopLength4:21LabelCash MoneyUniversal MotownSongwriter(s)Bryan WilliamsAubrey GrahamDwayne CarterMatthew SamuelsProducer(s)Boi-1daBirdman singles chronology Til da Sun Come Up (2009) 4 My Town (Play Ball) (2009) I Made It (Cash Money Heroes) (2010) Drake singles chronology Say Something(2009) 4 My Town (Play B...

 

Motorway 1 (Greece)

Motorway in Greece This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Motorway 1 Greece – news · newspapers · books · scholar · JSTOR (January 2017) (Learn how and when to remove this message) A1 motorwayΑυτοκινητόδρομος 1Route informationPart of E75 Length550 km (340 mi)Majo...

Голубянки

Голубянки Самец голубянки икар Научная классификация Домен:ЭукариотыЦарство:ЖивотныеПодцарство:ЭуметазоиБез ранга:Двусторонне-симметричныеБез ранга:ПервичноротыеБез ранга:ЛиняющиеБез ранга:PanarthropodaТип:ЧленистоногиеПодтип:ТрахейнодышащиеНадкласс:ШестиногиеКласс...

 

ARID4A

Protein-coding gene in humans ARID4AAvailable structuresPDBOrtholog search: PDBe RCSB List of PDB id codes2LCC, 2MAM, 2YRVIdentifiersAliasesARID4A, RBBP-1, RBBP1, RBP-1, RBP1, AT-rich interaction domain 4AExternal IDsOMIM: 180201 MGI: 2444354 HomoloGene: 11303 GeneCards: ARID4A Gene location (Human)Chr.Chromosome 14 (human)[1]Band14q23.1Start58,298,504 bp[1]End58,373,887 bp[1]Gene location (Mouse)Chr.Chromosome 12 (mouse)[2]Band12|12 C2Start71,015,990 bp&#...

 

哈萨克斯坦总统

此条目序言章节没有充分总结全文内容要点。 (2019年3月21日)请考虑扩充序言，清晰概述条目所有重點。请在条目的讨论页讨论此问题。 哈萨克斯坦總統哈薩克總統旗現任Қасым-Жомарт Кемелұлы Тоқаев卡瑟姆若马尔特·托卡耶夫自2019年3月20日在任任期7年首任努尔苏丹·纳扎尔巴耶夫设立1990年4月24日（哈薩克蘇維埃社會主義共和國總統） 哈萨克斯坦 哈萨克斯坦政府...

Ghost Writer

Untuk film Inggris tahun 2010, lihat The Ghost Writer. Ghost WriterPoster FilmSutradaraBene Dion RajagukgukProduser Ernest Prakasa Chand Parwez Servia Skenario Nonny Boenawan Bene Dion Rajagukguk Cerita Nonny Boenawan Bene Dion Rajagukguk Pemeran Tatjana Saphira Ge Pamungkas Deva Mahenra Ernest Prakasa Asmara Abigail Endy Arfian Penata musik Aghi Narottama Bemby Gusti Tony Merle SinematograferRoby HerbiPenyuntingTeguh RaharjoPerusahaanproduksiStarvisionTanggal rilis 4 Juni 2019 (20...

 

بيرغ (جبال الألب بيرنيسي)

  لمعانٍ أخرى، طالع بيرغ (توضيح). بيرغ (جبال الألب بيرنيسي) صورة من بيرغ (جبال الألب بيرنيسي) الموقع كانتون برن، سويسرا المنطقة مقاطعة إنترلاكن-أوبيرهاسلي  إحداثيات 46°33′42″N 7°51′21″E / 46.5617°N 7.85583°E / 46.5617; 7.85583   الارتفاع 2,684 متر (8,806 قدم) السلسلة جبال الأ�...

 

Federal Reserve Note

1914 $10 FRN, Federal Reserve Bank of Chicago. 1928 $100 FRN, Federal Reserve Bank of Chicago. 1934 $10,000 FRN, menampilkan Salmon P. Chase. Federal Reserve Notes, juga uang kertas Amerika Serikat atau uang kertas AS, adalah uang kertas yang sekarang dipakai di Amerika Serikat. Berdenominasi dalam dolar Amerika Serikat, Federal Reserve Notes dicetak oleh United States Bureau of Engraving and Printing pada kertas yang dibuat oleh Crane & Co. dari Dalton, Massachusetts. Federal Reserve Not...

Pirog

Not to be confused with Pierogi. Pastry of Eastern European origin For other uses, see Pirog (disambiguation). PirogA fish pirogAlternative namesPirogiRegion or stateEastern Europe  Media: Pirog Pirog (Russian: пиро́г, IPA: [pʲɪˈrok] ⓘ; Ukrainian: пиріг pyrih, pl. pyrohy пироги; Belarusian: піро́г; Northern Sami: pirog; Latvian: pīrāgs, pl. pīrāgi; Lithuanian: pyragas, pl. pyragai; Finnish: piirakka; Swedish: pirog) is a baked case of dough...

 

Fenerbahçe SK (basket-ball féminin)

Article connexe : Fenerbahçe SK (basket-ball masculin). Fenerbahçe SK Généralités Nom complet Fenerbahçe Spor Kulübü Fondation 1954 Couleurs Jaune et bleu marine Salle Caferaga Sports Hall (1 250 places) Siège Istanbul, Turquie Championnat actuel Championnat de Turquie Président Ali Koç Entraîneur Valérie Garnier Site web www.fenerbahce.org Palmarès principal National[1] Championnat de Turquie (13)Coupe de Turquie (11)Coupe du Président de Turquie (11) Internatio...

 

Open system (systems theory)

Systems with external interactions Open systems have input and output flows, representing exchanges of matter, energy or information with its surroundings. An open system is a system that has external interactions. Such interactions can take the form of information, energy, or material transfers into or out of the system boundary, depending on the discipline which defines the concept. An open system is contrasted with the concept of an isolated system which exchanges neither energy, matter, n...

Pederastia cretese

Voce principale: Pederastia greca. Con la definizione di pederastia cretese si suole indicare quella forma arcaica di pederastia consistente, all'epoca della civiltà minoica, nel rituale del rapimento o harpagmos-ratto di un ragazzo di nobili origini da parte di un maschio adulto appartenente alla classe dell'aristocrazia guerriera, con il consenso del padre del ragazzo. Il tutto viene descritto da Eforo di Cuma e riportato dallo storico antico Strabone[1]. L'uomo più grande, qui c...

 

موسيقى عراقية

فرقة موسيقية عراقية من بغداد عام 1920م عازفي مزمار في فرقة فنون شعبية عراقية خلال تأدية عرض فرقة فنون شعبية عراقية تؤدي عرضاً فنياً من الفلكلور العراقي الكردي عازفون من فرقة الأوركسترا السمفونية القومية العراقية الموسيقى العراقية وأحياناً تعرف بالموسيقى الرافدينية أو موس�...

 

يحيى شاهين

يحيى شاهين معلومات شخصية اسم الولادة يحيى يحيى حسن شاهين الميلاد 28 يوليو 1917(1917-07-28)إمبابة، محافظة الجيزة، مصر الوفاة 18 مارس 1994 (76 سنة)القاهرة، محافظة القاهرة، مصر الجنسية مصري أسماء أخرى الرفيق الأولاد داليا الحياة العملية المهنة ممثلمنتج أفلام اللغة الأم اللهجة المصرية...

Maximilien Louis Bourgeois

Pour les articles homonymes, voir Bourgeois. Maximilien Louis BourgeoisNaissance 11 février 1839Ancien 1er arrondissement de ParisDécès 16 août 1901 (à 62 ans)SèvresNom de naissance Louis Maximilien BourgeoisNationalité françaiseActivités Sculpteur, médailleurFormation École nationale supérieure des arts décoratifsMaître François JouffroyDistinction Chevalier de la Légion d'honneur‎Tombe de Louis Maximilien Bourgeois au cimetière de Sèvres.modifier - modifier le code...

 

Dirk Stikker

Dutch politician and diplomat (1897–1979) Dirk StikkerGCVO GBEStikker in 19643rd Secretary General of NATOIn office21 April 1961 – 1 August 1964Preceded byPaul-Henri SpaakSucceeded byManlio BrosioPermanent Representative of the Netherlands to NATO and the OECDIn office15 June 1958 – 21 April 1961Preceded byEelco van KleffensSucceeded byHugo ScheltemaAmbassador of the Netherlands to the United KingdomIn office10 September 1952 – 15 June 1958Preceded byEd...