Um token, em análise léxica, é uma representação de uma cadeia de caracteres, utilizado na construção de árvores sintáticas de linguagens de programação.[1]:5 Exemplos de tokens poderiam ser palavras-chave (if, else, while, int, ...), identificadores, números, sinail, ou um operador de vários caracteres, (por exemplo, := "':+"' ).
Exemplo
Suponhamos a seguinte linha de um programa:
SE Novo > MaxNúm ENTÃO
Os tokenes são:
* "SE"
* "Novo"
* ">"
* "MaxNúm"
* "ENTÃO"
E descrevem-se pelo geral em duas partes, um tipo ou classe e um valor, assim: Token=(Tipo,Valor)
Para a sequência anterior, os tokenes podem descrever-se
* [Palavra Reservada, "SE"]
* [Identificador, "Novo"]
* [Operador, ">"]
* [Identificador, "MáxNúm"]
* [Palavra Reservada, "ENTÃO"]
Ver também
Referências
Bibliografia
