У этого термина существуют и другие значения, см.
Токен.
То́кен (англ. token) — объект, создающийся из лексемы в процессе лексического анализа («токенизации», от англ. tokenizing).
В прикладном программировании понятие токена и его лексема могут не различаться.
Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.
Примеры
тип токена |
примеры лексем |
описание
|
num |
257 |
число
|
id |
Ident951 |
идентификатор
|
relop |
<= |
операция отношения
|
string |
«Cимвол» |
строчная постоянная
|