EleutherAI

Infotaula d'organitzacióEleutherAI
Dades
Tipusprogramari de codi obert
organització sense ànim de lucre Modifica el valor a Wikidata
Camp de treballintel·ligència artificial Modifica el valor a Wikidata
Història
Creació25 gener 2023
Activitat
Membre deOpen Source Initiative Modifica el valor a Wikidata
Lloc webeleuther.ai Modifica el valor a Wikidata
GitHub: EleutherAI

EleutherAI és un grup de recerca d'intel·ligència artificial (IA) sense ànim de lucre. El grup, considerat una versió de codi obert d'OpenAI,[1] es va formar en un servidor de Discord el juliol de 2020 per organitzar una rèplica de GPT-3. Malgrat la manca de finançament formal o d'estructura organitzativa, ràpidament es va convertir en un jugador líder en la investigació de processament del llenguatge natural a gran escala, llançant el model similar a GPT-3 de codi obert més gran del món el 21 de març de 2021,[2] establint un nou model obert. -font els registres d'última generació el juny de 2021 [3] i el febrer de 2022.[4] El gener de 2023, EleutherAI es va incorporar formalment com a institut de recerca sense ànim de lucre.

EleutherAI va començar com a servidor de Discord el 7 de juliol de 2020 amb el nom provisional "LibreAI" abans de canviar de marca a "EleutherAI" més tard aquell mes.

El 30 de desembre de 2020, EleutherAI va llançar el Pile, un conjunt de dades seleccionat de text divers per entrenar grans models lingüístics.[5] Tot i que el document feia referència a l'existència dels models GPT-Neo, els mateixos models no es van publicar fins al 21 de març de 2021. Segons una retrospectiva escrita uns mesos més tard, els autors no preveien que "la gent es preocuparia tant pels nostres "petits models"". El 9 de juny de 2021, EleutherAI va seguir amb GPT-J-6B, un model de llenguatge de sis mil milions de paràmetres que va tornar a ser el model semblant a GPT-3 de codi obert més gran del món.[6]

Després del llançament de DALL-E per OpenAI el gener de 2021, EleutherAI va començar a treballar en models de síntesi de text a imatge. Quan OpenAI no va llançar DALL-E públicament, Katherine Crowson d'EleutherAI i l'artista digital Ryan Murdock van desenvolupar una tècnica per utilitzar CLIP (un altre model desenvolupat per OpenAI) per convertir models habituals de generació d'imatges en síntesis de text a imatge.[7][8][9][10] A partir d'idees que es remunten a DeepDream de Google,[11] van trobar el seu primer gran èxit combinant CLIP amb un altre model disponible públicament anomenat VQGAN. Crowson va llançar la tecnologia fent tuitejar quaderns demostrant la tècnica que la gent podia executar gratuïtament sense cap equip especial.[12][13][14] Emad Mostaque, director general de Stability AI, atribueix aquest treball com a motivador de la fundació de Stability AI.[15]

Tot i que EleutherAI va rebutjar inicialment les ofertes de finançament, preferint utilitzar el programa TPU Research Cloud de Google per obtenir el seu càlcul,[16] a principis de 2021 havien acceptat finançament de CoreWeave (una petita empresa de computació en núvol) i SpellML (una empresa d'infraestructures de núvol) al forma d'accés a potents clústers de GPU que són necessaris per a la investigació d'aprenentatge automàtic a gran escala. El 10 de febrer de 2022 van llançar GPT-NeoX-20B, un model similar al seu treball anterior però que s'ha ampliat gràcies als recursos proporcionats per CoreWeave.[17] Aquest model va ser el tercer a tenir el títol de "model de llenguatge d'estil GPT-3 de codi obert més gran del món" i el primer a ser el model de llenguatge de codi obert més gran (de qualsevol tipus), superant un model entrenat per Meta AI que tenia el títol durant dos mesos. A partir del 6 de març de 2023, és el segon model de llenguatge de codi obert més gran del món.

Referències

  1. ↑ Smith, Craig. «EleutherAI: When OpenAI Isn’t Open Enough» (en anglès). IEEE Spectrum. IEEE, 21-03-2022. [Consulta: 17 desembre 2022].
  2. ↑ Andonian, Alex. «GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch» (en anglès), 13-08-2021.
  3. ↑ «EleutherAI/gpt-j-6B · Hugging Face» (en anglès). huggingface.co.
  4. ↑ Black, Sidney (2022-05-01). "GPT-NeoX-20B: An Open-Source Autoregressive Language Model" a Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models. [Consulta: 19 desembre 2022] 
  5. ↑ (2020-12-31) "[1]" a arXiv 2101.00027.  
  6. ↑ «GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront» (en anglès). www.forefront.ai. Arxivat de l'original el 2023-03-09. [Consulta: 1r març 2023].
  7. ↑ MIRANDA, LJ. «The Illustrated VQGAN» (en anglès). ljvmiranda921.github.io. [Consulta: 8 març 2023].
  8. ↑ «Inside The World of Uncanny AI Twitter Art» (en anglès). Nylon. [Consulta: 8 març 2023].
  9. ↑ «This AI Turns Movie Text Descriptions Into Abstract Posters» (en anglès). Yahoo Life. [Consulta: 8 març 2023].
  10. ↑ Quach, Katyanna. «A man spent a year in jail on a murder charge involving disputed AI evidence. Now the case has been dropped» (en anglès). www.theregister.com. [Consulta: 8 març 2023].
  11. ↑ «Alien Dreams: An Emerging Art Scene - ML@B Blog» (en anglès). Alien Dreams: An Emerging Art Scene - ML@B Blog. Arxivat de l'original el 10 de març 2023. [Consulta: 8 març 2023].
  12. ↑ «We asked an AI tool to 'paint' images of Australia. Critics say they're good enough to sell» (en anglès), 14-07-2021. [Consulta: 8 març 2023].
  13. ↑ Nataraj, Poornima. «Online tools to create mind-blowing AI art» (en anglès). Analytics India Magazine, 28-02-2022. [Consulta: 8 març 2023].
  14. ↑ «Meet the Woman Making Viral Portraits of Mental Health on TikTok» (en anglès). www.vice.com. [Consulta: 8 març 2023].
  15. ↑ @EMostaque. «Stability AI came out of @AiEleuther and we have been delighted to incubate it as the foundation was set up».
  16. ↑ «EleutherAI: When OpenAI Isn’t Open Enough» (en anglès). IEEE Spectrum. [Consulta: 1r març 2023].
  17. ↑ «Wayback Machine» (en anglès). web.archive.org, 10-02-2022. Arxivat de l'original el 2022-02-10. [Consulta: 1r març 2023].

Read other articles:

George Sutherland

George Sutherland Hakim Mahkamah Agung Amerika SerikatMasa jabatan2 Oktober 1922 – 17 Januari 1938 Informasi pribadiKebangsaanAmerika SerikatProfesiHakimSunting kotak info • L • B George Sutherland adalah hakim Mahkamah Agung Amerika Serikat. Ia mulai menjabat sebagai hakim pada mahkamah tersebut pada tanggal 2 Oktober 1922. Masa baktinya sebagai hakim berakhir pada tanggal 17 Januari 1938.[1] Referensi ^ Justices 1789 to Present. Washington, D.C.: Mahkamah Ag...

 

Météorisation (géologie)

Pour les articles homonymes, voir Météorisation. Cet article est une ébauche concernant la géologie. Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants. Différentes étapes de la formation d'un sol (pédogénèse) : de la météorisation de la roche-mère à l'évolution de l'enrichissement en humus et de la pédofaune. Gélifraction d'un galet de basalte après cinq années d'exposition à la météorisat...

 

Bienial Seni São Paulo

Bienial Seni São PauloJenisbienal, berfokus pada seni rupa kontemporerDimulai1951Frekuensibienial, setiap dua tahun sekali.Situs webhttp://www.bienal.org.br Bienial São Paulo: Pavilhão Ciccillo MatarazzoBienial Seni São Paulo didirikan pada 1951 dan diadakan setiap dua tahun sekali sejak itu. Acara tersebut merupakan bienial seni tertua kedua di dunia[1] setelah Bienial Venesia (telah ada sejak 1895). Sejarah Bienial tersebut dibentuk oleh industrialis Italia-Brasil Ciccillo Matar...

Eriko Sotarduga

Ini adalah nama Batak Toba, marganya adalah Sitorus. Eriko Sotarduga Anggota Dewan Perwakilan RakyatPetahanaMulai menjabat 1 Oktober 2009Daerah pemilihanDKI Jakarta IIMayoritas104.468 suara (2019) Informasi pribadiLahirEriko Sotarduga Binsar Pahalatua Sitorus10 April 1969 (umur 55)Medan, Sumatera Utara, IndonesiaPartai politikPDI-P (sejak 1999)Suami/istriRoslina T. NainggolanAnak3Alma materUniversitas TrisaktiSunting kotak info • L • B Ir. Eriko Sotarduga Binsar Pahalat...

 

CGIAR

Food security research organisation CGIARFormation1971; 53 years ago (1971)TypePartnership of funders and international agricultural research centers; Intergovernmental OrganizationPurposeTo reduce poverty and hunger, improve human health and nutrition, and enhance ecosystem resilience through high-quality international agricultural research, partnership and leadership.LocationGlobalKey peopleJuergen Voegele, Chair CGIAR System Council; Lindiwe Majele Sibanda, Chair CGIAR Sy...

 

Spider-Man (1969 film)

1969 filmSpider-ManSet photo of Donald F. Glut and Donna ShannonDirected byDonald F. GlutWritten byDonald F. GlutBased onSpider-Manby Stan LeeSteve DitkoProduced byDonald F. GlutStarringDonald F. GlutDonna ShaneBob RosenJim HormonRick MitchellBill ObbargeNarrated byDonald F. GlutRelease date 1969 (1969) Running time12 minutesCountryNorth AmericaLanguageEnglish Spider-Man is a 1969 American superhero short film that was directed by Donald F. Glut. It is an unauthorized fan film, one of se...

Paulina Robot

Eva Paulina Robot (16 April 1938 – 5 Oktober 2000) adalah seorang aktris berkebangsaan Indonesia yang aktif pada tahun 1950-an. Ia merupakan putri dari aktris Mien Sondakh. Paulina RobotPaulina pada tahun 1955LahirEva Paulina Robot(1938-04-16)16 April 1938Meninggal5 Oktober 2000(2000-10-05) (umur 62)KebangsaanIndonesiaPekerjaanAktrisTahun aktif1953–1957Orang tuaMien Sondakh (ibu) Filmografi Paulina, Titien Sumarni, A. Thys, dan Mien Sondakh dalam film Putri Solo (1...

 

Englyn

Traditional Welsh short poem form An englyn on a gravestone in Christ Church, Bala:Price anwyl, pur ei wasanaeth... Englyn (pronounced [ˈɛŋ.lɪn]; plural englynion) is a traditional Welsh short poem form. It uses quantitative metres, involving the counting of syllables, and rigid patterns of rhyme and half rhyme. Each line contains a repeating pattern of consonants and accent known as cynghanedd. Early history The englyn is found in the work of the earliest attested Welsh poets (th...

 

أبو إسحاق الشيرازي

  هذه المقالة عن أبو إسحاق الشيرازي. لمعانٍ أخرى، طالع الشيرازي. أبو إسحاق الشيرازي معلومات شخصية الميلاد 1003فيروز آباد الوفاة 1083بغداد الجنسية  الدولة العباسية الدولة السلجوقية الحياة العملية تعلم لدى أبو بكر الباقلاني[1]،  وأبو حاتم القزويني  التلامذة الم...

Hafiz Saeed

Terrorrist and founder of Lashkar-e-Taiba For other people named Hafiz Saeed, see Hafiz Saeed (disambiguation). This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these template messages) This article may require cleanup to meet Wikipedia's quality standards. The specific problem is: Significant amount of POV and unencyclopedic tone. Please help improve this article if you can. (April 2022) (Learn how and when to re...

 

Prádena del Rincón

You can help expand this article with text translated from the corresponding article in Spanish. (November 2014) Click [show] for important translation instructions. View a machine-translated version of the Spanish article. Machine translation, like DeepL or Google Translate, is a useful starting point for translations, but translators must revise errors as necessary and confirm that the translation is accurate, rather than simply copy-pasting machine-translated text into the English Wik...

 

New Earth (Christianity)

Doctrine of Christian eschatology For the DC Comics setting New Earth, see New Earth (DC Comics). Revelation 21:1: A new heaven and new earth, Mortier's Bible, Phillip Medhurst Collection The New Earth is an expression used in the Book of Isaiah (65:17 & 66:22), 2 Peter (3:13), and the Book of Revelation (21:1) in the Bible to describe the final state of redeemed humanity. It is one of the central doctrines of Christian eschatology and is referred to in the Nicene Creed as the world to co...

Gereja Katolik di Kepulauan Marshall

Bagian dari seriGereja Katolik menurut negara Afrika Afrika Selatan Afrika Tengah Aljazair Angola Benin Botswana Burkina Faso Burundi Chad Eritrea Eswatini Etiopia Gabon Gambia Ghana Guinea Guinea-Bissau Guinea Khatulistiwa Jibuti Kamerun Kenya Komoro Lesotho Liberia Libya Madagaskar Malawi Mali Maroko Mauritania Mauritius Mesir Mozambik Namibia Niger Nigeria Pantai Gading Republik Demokratik Kongo Republik Kongo Rwanda Sao Tome dan Principe Senegal Seychelles Sierra Leone Somalia Somaliland ...

 

社会信用論

経済学地域別の経済 理論 ミクロ経済学 マクロ経済学 数理経済学 実証 計量経済学 実験経済学 経済史 応用 公共 医療 環境 天然資源 農業 開発国際 都市 空間 地域 地理労働 教育 人口 人事産業 法 文化 金融 行動 一覧 　経済学者 学術雑誌 重要書籍カテゴリ 索引 概要 経済 ポータル カテゴリ表話編歴 クリフォード・ヒュー・ダグラス社会信用論（しゃかいしんようろ�...

 

Order theory

Branch of mathematics For a topical guide, see Outline of order theory. This article includes a list of general references, but it lacks sufficient corresponding inline citations. Please help to improve this article by introducing more precise citations. (December 2015) (Learn how and when to remove this message) Order theory is a branch of mathematics that investigates the intuitive notion of order using binary relations. It provides a formal framework for describing statements such as this ...

シリア内戦

シリア内戦 2011年4月18日、ホムスにおけるデモ 内戦の状況      シリア政府(シリア軍)     シリア政府 & ロジャヴァ自治政府 (シリア軍 & SDF)      ロジャヴァ自治政府 (SDF)      シリア暫定政府（英語版） (SNA（英語版）) & トルコ占領地域（英語版）     シリア救国政府（英語...

 

La 1

La 1CaractéristiquesCréation 28 octobre 1956Propriétaire Radio Televisión EspañolaSlogan « Parte de ti »Format d'image 2160p UHDTV HDR1080i HDTVLangue EspagnolPays EspagneStatut Généraliste nationale publiqueSiège social MadridAncien nom Televisión de RNE (1951-1956)TVE (1956-1965)TVE-VHF (1965-1966)Primera Cadena (1966-1975)TVE 1 (1975-1991)La Primera (1991-2007)Chaîne sœur La 2, Clan, Teledeporte, Canal 24 horasSite web www.rtve.es/televisionDiffusionDiffusion Numéri...

 

Second Peel ministry

Government of the United Kingdom Second Peel ministry1841–1846Peel by Robert Richard ScanlanDate formed30 August 1841 (1841-08-30)Date dissolved29 June 1846 (1846-06-29)People and organisationsMonarchQueen VictoriaPrime MinisterSir Robert PeelMember partiesConservative PartyOpposition partyWhigsOpposition leadersLord John Russellin the House of CommonsThe Viscount Melbourne(1841–1842)The Marquess of Lansdowne(1842–1846)in the House of LordsHistoryElection18...

James Edwards

Questa voce sull'argomento cestisti statunitensi è solo un abbozzo. Contribuisci a migliorarla secondo le convenzioni di Wikipedia. Segui i suggerimenti del progetto di riferimento. James EdwardsJames Edwards con la maglia dei Phoenix SunsNazionalità Stati Uniti Altezza213 cm Peso102 kg Pallacanestro RuoloCentro Termine carriera1996 CarrieraGiovanili Roosevelt High School1973-1977 Wash. Huskies106 (1.548) Squadre di club 1977 L.A. Lakers25 (370)1977-1981 Indiana Pa...

 

Non-binarité

Ne doit pas être confondu avec Intersexuation, Androgynie, Bisexualité ou Transidentité. Non-binarité est un terme générique utilisé en sciences sociales et dans le lexique LGBT+ pour catégoriser les différentes identités de genre non binaires ou genderqueer qui ne s'inscrivent pas dans une norme binaire, c'est-à-dire que les personnes non binaires ou genderqueer ne s'identifient ni strictement homme, ni strictement femme, mais entre les deux, un mélange des deux, ou aucun des de...