ChatGPT

ChatGPT
Originalni autor(i)OpenAI
Prvo izdanje30. novembar 2022; prije 2 godine (2022-11-30)
Veb-sajtchat.openai.com

ChatGPT[a] je čet-bot kojeg je OpenAI predstavio u novembru 2022. Napravljen je na temelju OpenAI GPT-3 i GPT-4 porodice velikih jezičkih modela, a dotjeran je i fino podešen[1][2] pomoću nadziranog i podržanog mašinskog učenja.

ChatGPT je predstavljen kao prototip 30. novembra 2022. i brzo je dostigao popularnost zbog svojih detaljnih i artikulisanih odgovora u raznim domenama znanja. Njegova neujednačena činjenična preciznost je ipak označena kao značajna mana.[3] Nakon predstavljanja ChatGPT-a, OpenAI je dostigao vrijednost od 29 milijardi američkih dolara.[4]

Jedna od glavnih karakteristika je davanje prirodnih odgovora na postavljenja pitanje i generiranje programskog koda, članaka, pjesama, priča ili otklanjanje grešaka u kodu.[5]

Izvorna verzija ChatGPT-a bazirana je na verziji GPT-3.5. Verzija bazirana na GPT-4, najnovijem OpenAI modelu, objavljena je 14. marta 2023. i dostupna je za plaćene pretplatnike.

Treniranje

ChatGPT je član porodice jezičnih modela generativno predtreniranih transformatora (engleski: Generative pre-trained transformer - GPT). Prilagođen je nad poboljšanom verzijom OpenAI GPT-3, poznatom kao GPT 3.5, putem procesa finog podešavanja.[6]

Proces finog podešavanja koristio je i nadzirano učenje i podržano učenje u procesu nazvanom podržano učenje uz ljudske povratne informacije (engleski: reinforcement learning from human feedback - RLHF).[7][8] Oba pristupa koriste ljudske trenere kako bi poboljšali performanse modela. U slučaju nadziranog učenja, modelu su dostavljeni razgovori u kojima su treneri imali ulogu korisnika i asistenta. U podržanom učenju, ljudski treneri su prvo rangirali odgovore koje je model stvorio u prethodnom razgovoru.[9] Ti su rangovi korišteni za stvaranje "modela nagrade" kojim se model dodatno fino podešavao korištenjem nekoliko iteracija PPO-a (engleski: Proximal Policy Optimization).[10][11]

ChatGPT je u početku koristio superkompjutersku infrastrukturu Microsoft Azure, pokretanu pomoću NVIDIA grafičkih procesora, koju je Microsoft izgradio posebno za OpenAI, a koja je navodno koštala "stotine miliona dolara". Nakon uspjeha ChatGPT-a, Microsoft je 2023. značajno nadogradio OpenAI infrastrukturu.[12]

OpenAI prikuplja podatke od korisnika ChatGPT-a kako bi dalje trenirao i prilagođavao uslugu. Korisnici mogu glasati za ili protiv odgovora koje dobiju od ChatGPT-a i popuniti tekstualno polje s dodatnim povratnim informacijama.[13]

Također pogledajte

Bilješke

  1. ^ GPT je skraćenica od engleski: generative pre-trained transformer.

Reference

  1. ^ Quinn, Joanne (2020). Dive into deep learning : tools for engagement. Thousand Oaks, California. str. 551. ISBN 9781544361376. Pristupljeno 10. 1. 2023.
  2. ^ Roose, Kevin (5. 12. 2022). "The Brilliance and Weirdness of ChatGPT" (HTML). New York Times (jezik: engleski). Pristupljeno 26. 12. 2022. Like those tools, ChatGPT — which stands for “generative pre-trained transformer” — landed with a splash.
  3. ^ Vincent, James (5. 12. 2022). "AI-generated answers temporarily banned on coding Q&A site Stack Overflow" (HTML). The Verge (jezik: engleski). Pristupljeno 5. 12. 2022.
  4. ^ ChatGPT creator OpenAI is in talks to sell shares in a tender offer that would double the startup's valuation to $29 billion Insider, Lakshmi Varanasi, 5. 1. 2023
  5. ^ D.M. (21. 1. 2023). "Što je ChatGPT o kojem svi bruje u posljednje vrijeme? Evo što trebate znati" (jezik: hrvatski). Pristupljeno 1. 2. 2023.
  6. ^ "OpenAI API". platform.openai.com (jezik: engleski). Arhivirano s originala, 3. 3. 2023. Pristupljeno 3. 3. 2023.
  7. ^ OpenAI (30. 11. 2022). "ChatGPT: Optimizing Language Models for Dialogue" (jezik: engleski). Arhivirano s originala, 30. 11. 2022. Pristupljeno 5. 12. 2022.
  8. ^ Greengard, Samuel (29. 12. 2022). "ChatGPT: Understanding the ChatGPT AI Chatbot". eWeek. Arhivirano s originala, 19. 1. 2023. Pristupljeno 11. 1. 2023.
  9. ^ Douglas, Will (3. 3. 2023). "The inside story of how ChatGPT was built from the people who made it". MIT Technology Review. Arhivirano s originala, 3. 3. 2023. Pristupljeno 6. 3. 2023.
  10. ^ Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017). "Proximal Policy Optimization Algorithms". arXiv:1707.06347 [cs.LG].
  11. ^ Vincent, James (8. 12. 2022). "ChatGPT proves AI is finally mainstream – and things are only going to get weirder". The Verge (jezik: engleski). Arhivirano s originala, 11. 1. 2023. Pristupljeno 8. 12. 2022.
  12. ^ Roth, Emma (13. 3. 2023). "Microsoft spent hundreds of millions of dollars on a ChatGPT supercomputer". The Verge (jezik: engleski). Pristupljeno 31. 3. 2023.
  13. ^ "ChatGPT Feedback Contest: Official Rules" (PDF). OpenAI. Arhivirano (PDF) s originala, 18. 1. 2023. Pristupljeno 30. 12. 2022.

Vanjske veze