Токен — об'єкт, що утворюється із лексеми в процесі лексичного аналізу.
У прикладному програмуванні поняття токену та його лексема можуть не розрізнятися.
Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.
Приклади
| тип токена |
приклади лексем |
опис
|
| string |
"Мова \"C\"" |
рядкова стала
|
| id |
Name01 |
ідентифікатор
|
| relop |
>= |
операції відношення
|
| num |
13 |
число
|
