Tokens
Tokens jeb žetons (angļu: token) datorzinātnē ir sīkākā strukturētā informācijas vienība, ko izmanto datu analīzē, programmēšanas valodu kompilācijā un mākslīgā intelekta lielo valodas modeļu (LLM) apstrādē. Procesu, kurā nepārtraukta datu plūsma (piemēram, teksts vai programmas kods) tiek sadalīta atsevišķos tokenos, sauc par tokenizāciju vai žetonizāciju.
Pielietojums mākslīgajā intelektā
Lielajos valodas modeļos (piemēram, ChatGPT vai Google Gemini) tokens nav tas pats, kas burts vai vārds. Modeļi neuztver tekstu kā veselus vārdus, bet gan kā skaitliski kodētus tokenus. Viens tokens parasti atbilst aptuveni 4 rakstzīmēm vai 0,75 vārdiem angļu valodā.[1] Tas var būt vesels vārds (piemēram, īsi un bieži lietoti vārdi), vārda daļa, zilbe vai pat viena rakstzīme (retākiem simboliem vai burtiem). Tā kā lielākā modeļu daļa ir apmācīta uz angļu valodas bāzes, angļu valodas vārdi parasti tiek sadalīti mazākā tokenu skaitā. Citās valodās, arī latviešu valodā, vārdu struktūra un locījumi ir sarežģītāki, tāpēc viens latviešu valodas vārds bieži tiek sadalīts vairākos tokenos. Rezultātā viena un tā paša satura apstrāde latviski patērēs vairāk modeļa resursu. Mākslīgā intelekta modeļu jaudu bieži mēra pēc to konteksta loga, kas nosaka maksimālo tokenu skaitu, kuru modelis spēj paturēt atmiņā un analizēt vienā reizē.
Pielietojums programmēšanā un kompilācijā
Tradicionālajā datorzinātnē, tulkojot cilvēka rakstītu programmas kodu mašīnkodā (kompilācijas procesā), pirmā fāze ir leksiskā analīze. Šajā posmā kods tiek sadalīts tokenos pēc to funkcijas:
- Atslēgvārdi (piemēram, if, while, return),
- Identifikatori (mainīgo un funkciju nosaukumi),
- Operatori (piemēram, +, -, =, ==),
- Literāļi (skaitļi vai teksta virknes).
Atsauces
Content Disclaimer
Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.
- The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
- There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
- It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
- Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
- Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.