Model de text a imatge

Una imatge condicionada a la indicació "un astronauta muntant a cavall, per Hiroshige", generada per Stable Diffusion, un model de text a imatge a gran escala llançat el 2022.
Vuit imatges generades a partir del missatge de text "Un senyal de stop vola en cel blau". per AlignDRAW (2015). Ampliat per mostrar els detalls.

Un model de text a imatge és un model d'aprenentatge automàtic que pren com a entrada una descripció en llenguatge natural i produeix una imatge que coincideix amb aquesta descripció. Aquests models es van començar a desenvolupar a mitjans de la dècada de 2010, com a resultat dels avenços en xarxes neuronals profundes. El 2022, la producció de models de text a imatge d'última generació, com ara DALL-E 2 d'OpenAI, Imagen de Google Brain i Stable Diffusion de StabilityAI va començar a apropar-se a la qualitat de les fotografies reals i l'art dibuixat per humans.[1][2]

Els models text a imatge generalment combinen un model de llenguatge, que transforma el text d'entrada en una representació latent, i un model d'imatge generatiu, que produeix una imatge condicionada a aquesta representació. Els models més eficaços s'han entrenat generalment amb quantitats massives de dades d'imatge i text extretes del web.

Arquitectura d'alt nivell que mostra l'estat dels models d'aprenentatge automàtic de l'art d'IA, els models i aplicacions més grans o més notables en el panorama de l'art d'IA i les relacions i dependències pertinents com a mapa d'imatge SVG en què es pot fer clic.

Abans de l'auge de l'aprenentatge profund, els intents de crear models de text a imatge es limitaven a collages mitjançant l'ordenació d'imatges de components existents, com ara una base de dades d'imatges predissenyades.

Els models de text a imatge s'han creat utilitzant una varietat d'arquitectures. El pas de codificació de text es pot realitzar amb una xarxa neuronal recurrent, com ara una xarxa de memòria a curt termini (LSTM), tot i que els models de transformadors s'han convertit des d'aleshores en una opció més popular. Per al pas de generació d'imatges, s'han utilitzat habitualment xarxes adversàries generatives condicionals, i els models de difusió també s'han convertit en una opció popular en els darrers anys. En lloc d'entrenar directament un model per produir una imatge d'alta resolució condicionada a una incrustació de text, una tècnica popular és entrenar un model per generar imatges de baixa resolució i utilitzar un o més models auxiliars d'aprenentatge profund per augmentar-lo, omplint-lo amb més precisió. detalls.[3]

Els models de text a imatge s'entrenen en grans conjunts de dades de parells (text, imatge), sovint esborrats del web. Amb el seu model Imagen de 2022, Google Brain va informar resultats positius de l'ús d'un gran model de llenguatge entrenat per separat en un corpus només de text (amb els seus pesos posteriorment congelats), una diferència de l'enfocament estàndard fins ara.[4]

L'entrenament d'un model de text a imatge requereix un conjunt de dades d'imatges combinades amb subtítols de text. Un conjunt de dades que s'utilitza habitualment per a aquest propòsit és COCO (Common Objects in Context). Publicat per Microsoft el 2014, COCO consta d'unes 123.000 imatges que representen una diversitat d'objectes, amb cinc subtítols per imatge, generades per anotadors humans. Oxford-120 Flowers i CUB-200 Birds són conjunts de dades més petits d'unes 10.000 imatges cadascun, restringits a flors i ocells, respectivament. Es considera menys difícil entrenar un model de text a imatge d'alta qualitat amb aquests conjunts de dades, a causa del seu restringit ventall de temes.

Referències

  1. ↑ «Text To Image - AI Image Generator» (en anglès). https://deepai.org.+[Consulta: 5 març 2023].
  2. ↑ «What is Text-to-Image? - Hugging Face» (en anglès). https://huggingface.co.+[Consulta: 5 març 2023].
  3. ↑ Saharia, Chitwan; Chan, William; Saxena, Saurabh; Li, Lala; Whang, Jay «Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding». arXiv:2205.11487 [cs], 23-05-2022.
  4. ↑ Kezmann, Jan Marcel. «10 Best Free-to-Use Text-to-Image Generators» (en anglès). https://medium.com,+19-11-2022.+[Consulta: 5 març 2023].

Read other articles:

Filmografi Bae Suzy

filmografi Bae SuzySuzy pada 18 Juli 2017.Film4Seri Televisi10Acara Televisi5 Bae Suzy (Hangul: 배수지; lahir 10 Oktober 1994), lebih dikenal dengan mononim Suzy, adalah penyanyi dan aktris Korea Selatan. Dia adalah mantan anggota girl grup miss A di bawah label JYP Entertainment.[1] Film Tahun Judul Peran Ref. 2012 Architecture 101 Yang Seo-yeon (muda) [2] 2015 The Sound of a Flower Jin Chae-seon [3] 2017 Real Cameo - Seniman tato [4] 2019 Ashfall Choi Ji-y...

 

Stadion BBVA

Stadion BBVAEl Gigante de AceroThe Steel Giant Informasi stadionNama lamaStadion BBVA Bancomer (2015–2019)PemilikFEMSAOperatorFEMSALokasiLokasiGuadalupe, Nuevo León, MeksikoKoordinat25°40′9″N 100°14′40″W / 25.66917°N 100.24444°W / 25.66917; -100.24444Koordinat: 25°40′9″N 100°14′40″W / 25.66917°N 100.24444°W / 25.66917; -100.24444Transportasi umum Metrorrey di ExposiciónKonstruksiDibuat2011–2015Dibuka2 Agustus 2015; ...

 

A-242

A-242 Names IUPAC name methyl-(bis(diethylamino)methylene)phosphonamidofluoridate Systematic IUPAC name 1,1,3,3-tetraethyl-2-[fluoro(methyl)phosphoryl]guanidine Identifiers CAS Number 2387496-14-0 N 3D model (JSmol) Interactive image PubChem CID 146586254 InChI InChI=1S/C10H23FN3OP/c1-6-13(7-2)10(12-16(5,11)15)14(8-3)9-4/h6-9H2,1-5H3Key: WJDIQLITBJEMBA-UHFFFAOYSA-N SMILES CCN(CC)C(=N[P](C)(F)=O)N(CC)CC Properties Chemical formula C10H23FN3OP Molar mass 251.286 g·mol−1 ...

قرية وارويك (نيويورك)

قرية وارويك     الإحداثيات 41°15′11″N 74°21′25″W / 41.2531°N 74.3569°W / 41.2531; -74.3569  [1] تقسيم إداري  البلد الولايات المتحدة[2]  التقسيم الأعلى مقاطعة أورانج  خصائص جغرافية  المساحة 6.269275 كيلومتر مربع6.269278 كيلومتر مربع (1 أبريل 2010)  ارتفاع 158 متر  عد�...

 

Perseka Kandangan

Artikel ini bukan mengenai Perseka Kaimana. Artikel ini bukan mengenai Perseka Bosowa. Perseka KandanganNama lengkapPersatuan Sepakbola KandanganJulukanLaskar AntaludinStadionStadion 2 Desember, Kabupaten Hulu Sungai Selatan, Provinsi Kalimantan SelatanPemilikAskab PSSI Hulu Sungai SelatanKetuaErick PangestuPelatihAhmad RizaniLigaLiga 3 Persatuan Sepakbola Kandangan disingkat Perseka adalah klub sepakbola Indonesia yang berasal dari Kecamatan Kandangan, Kabupaten Hulu Sungai Selatan, Provinsi...

 

Tehuelches

Tehuelche ou Aónikenk Les Tehuelches sont des Amérindiens de Patagonie, vivant entre le fleuve Río Negro et le détroit de Magellan essentiellement en territoire argentin et chilien. Ils étaient réputés pour être de très grande taille et semblent avoir été à la base du grand mythe des géants patagons. Généralités Camp patagonien, 1838 Le mot « Tehuelche » est le nom que les Mapuches donnèrent à l'ensemble des peuples dits Pampas qui habitaient depuis le fleuve Rí...

趙家驤

追晉陸軍二級上將趙家驤將軍个人资料出生1910年 大清河南省衛輝府汲縣逝世1958年8月23日(1958歲—08—23)（47—48歲） † 中華民國福建省金門縣国籍 中華民國政党 中國國民黨获奖 青天白日勳章（追贈）军事背景效忠 中華民國服役 國民革命軍 中華民國陸軍服役时间1924年－1958年军衔 二級上將 （追晉）部队四十七師指挥東北剿匪總司令部參謀長陸軍�...

 

Keystone Dry Plate Works

Keystone Dry Plate Works in 1899 Factory built for Keystone Dry Plate Works in 1879, showing appearance in February 2021. The Keystone Dry Plate and Film Works was founded by John Carbutt in 1879 in Philadelphia, and its 113 Berkley Street location was constructed in Germantown in 1884.[1] The factory[2] became the location for his pioneering work in new photographic technologies, including improved glass plate photography, x-ray imaging, the first 35 mm celluloid film, and v...

 

Henra Hari Sutaryo

Henra Hari Sutaryo Komandan Sekolah Calon Perwira Angkatan DaratMasa jabatan19 April 2022 – 17 November 2023PendahuluFerry ZeinPenggantiBobby Rinal MakmunWakil Inspektur Komando Cadangan Strategis Angkatan DaratMasa jabatan21 Januari 2022 – 19 April 2022PendahuluBagus Suryadi TayoPenggantiHandoko NursetaInspektur Komando Daerah Militer II/SriwijayaMasa jabatan9 April 2020 – 21 Januari 2022PendahuluYusman MadayunPenggantiHeru Setio Paripurnawan Informasi pribad...

Пугачёва, Алла Борисовна

Запрос «Пугачёва» перенаправляется сюда; см. также другие значения. Алла Пугачёва На фестивале «Славянский базар в Витебске», 2016 год Основная информация Полное имя Алла Борисовна Пугачёва Дата рождения 15 апреля 1949(1949-04-15) (75 лет) Место рождения Москва, СССР[1]...

 

Oliceridine

Opioid analgesic drug OliceridineClinical dataPronunciationOH li SER i deen Trade namesOlinvykOther namesTRV-130, TRV130AHFS/Drugs.comProfessional Drug FactsLicense data US DailyMed: Oliceridine Routes ofadministrationIntravenous[1]ATC codeN02AX07 (WHO) Legal statusLegal status US: WARNING[2]Schedule II Identifiers IUPAC name N-[(3-Methoxythiophen-2-yl)methyl]-2-[(9R)-9-pyridin-2-yl-6-oxaspiro[4.5]decan-9-yl]ethanamine CAS Number1401028-24-7PubChe...

 

Strines railway station

Railway station in Greater Manchester, England StrinesStrines station in 2011General informationLocationStrines, Metropolitan Borough of StockportEnglandCoordinates53°22′30″N 2°01′59″W / 53.375°N 2.033°W / 53.375; -2.033Grid referenceSJ978864Managed byNorthern TrainsTransit authorityGreater ManchesterPlatforms2Other informationStation codeSRNClassificationDfT category F2HistoryOriginal companyMarple, New Mills and Hayfield Junction RailwayPre-groupingGreat ...

Fiskars

Finnish consumer goods company This article is about the company. For the village in which this company was founded, see Fiskars, Finland. Fiskars Oyj AbpCompany typeJulkinen osakeyhtiöTraded asNasdaq Helsinki: FSKRSIndustryConsumer productsFounded1649; 375 years ago (1649)HeadquartersHelsinki, FinlandKey peoplePaul Ehrnrooth (Chairman)Nathalie Ahlström (CEO)ProductsScissors, gardening tools, kitchenware, glassware, ceramics, knives, outdoor equipmentRevenue €1.25 b...

 

1631

Cette page concerne l'année 1631 du calendrier grégorien. Chronologies 16 décembre : Éruption du Vésuve.Données clés 1628 1629 1630  1631  1632 1633 1634Décennies :1600 1610 1620  1630  1640 1650 1660Siècles :XVe XVIe  XVIIe  XVIIIe XIXeMillénaires :-Ier Ier  IIe  IIIe Chronologies thématiques Art Architecture, Arts plastiques (Dessin, Gravure, Peinture et Sculpture), (), Littérature (), Musique (Classique) et Théâtre ...

 

Hangar

Den här artikeln behöver källhänvisningar för att kunna verifieras. (2023-08) Åtgärda genom att lägga till pålitliga källor (gärna som fotnoter). Uppgifter utan källhänvisning kan ifrågasättas och tas bort utan att det behöver diskuteras på diskussionssidan. Hangarerna nummer 5 och 6 vid Naval Air Station Lakehurst i New Jersey, USA. En hangar är en stor byggnad med ett stort rum för bland annat flygplan, luftskepp, helikoptrar, svävare, ubåtar, fartyg och mindre rum som...

Huang Xueqin

Chinese independent journalist and women's rights activist Chinese journalist and #metoo activist Huang Xueqin In this Chinese name, the family name is Huang. Huang Xueqin (Chinese: 黃雪琴; pinyin: Huáng Xuěqín; born in 1988), also known as Sophia Huang Xueqin, is a Chinese #MeToo activist,[1] women's rights activist, and independent journalist. Before working as an independent journalist, Huang served as an investigative journalist for several newspapers in Guangzhou, G...

 

Kazimierz Serocki

Polish composer Kazimierz Serocki (before 1952) Kazimierz-Serocki-plaque-in-Torun-Poland Kazimierz Serocki (3 March 1922 – 9 January 1981) was a Polish composer and one of the founders of the Warsaw Autumn contemporary music festival.[1] Life Serocki was born in Toruń. He studied composition with Kazimierz Sikorski and piano with Stanisław Szpinalski at the State Higher School of Music in Łódź and graduated in 1946. He continued in Paris, studying composition with Nadia Bou...

 

Tin Pan Alley (film)

1940 American film by Walter Lang Tin Pan AlleyTheatrical release posterDirected byWalter LangScreenplay byRobert EllisHelen LoganStory byPamela HarrisProduced byKenneth MacgowanStarringAlice FayeBetty GrableJack OakieJohn PayneCinematographyLeon ShamroyEdited byWalter A. ThompsonMusic byAlfred NewmanDistributed by20th Century FoxRelease date November 29, 1940 (1940-11-29) Running time94 minutesCountryUnited StatesLanguageEnglishBox office$1.645 million (U.S. and Canada rentals...

Liên đoàn bóng đá Ý

Liên đoàn bóng đá ÝUEFAThành lập26 tháng 3 năm 1898; 126 năm trước (1898-03-26)Trụ sởRomaGia nhập FIFA1905Gia nhập UEFA1954Chủ tịchGabriele Gravina (it)Websitewww.figc.it Liên đoàn bóng đá Ý (tiếng Ý: Federazione Italiana Giuoco Calcio; FIGC), còn được biết đến với tên gọi Federcalcio, là cơ quan quản lý bóng đá ở Ý. Liên đoàn có trụ sở ở Roma và bộ phận kĩ thuật nằm ở Coverciano, Flor...

 

Đại học Ludwig Maximilian München

Đại học Ludwig Maximilian MünchenUniversitas Ludovico-Maximilianea MonacensisLudwig-Maximilians-Universität MünchenCon dấu của Đại học Ludwig Maximilian MünchenVị tríMünchen, ĐứcThông tinLoạiCông lậpThành lập1472 (tên gọi Đại học Ingolstadt cho đến 1802)Hiệu trưởngGSTS. Bernd HuberNhân viên13.602; 700 giáo sư (2009/2010)Số Sinh viên45.539 (2009/2010; 15% quốc tế)MàuXanh là cây và trắng        ...