낱말 분석(Lexical analysis)은 컴퓨터 과학에서 프로그래밍 언어를 처리하는 처리하는 최초의 단계이다. 낱말 분석을 수행하는 프로그램은 렉서(lexer), 토크나이저(tokenizer)[1], 스캐너(scanner)라고 부르지만 스캐너는 렉서의 1단계를 가리키는 의미이다.
종합 문자열 분석기
종합 문자열 분석기(Universal String Analyzer)는 종합적인 리터럴 자동 추출과 관련된 특허 기술이 적용된 구성 요소이다.[2] 주로 소스 파일 내 동적 문자열 혹은 동적 SQL 등의 자동 분석을 위해 활용된다.[3]
토큰
토큰은 파싱 목적을 위해 분류화를 명시적으로 지시하는 어휘소를 표현하는 구조의 하나이다.[4]
다음의 표로 토큰화되어 표현된다:
| 어휘소 |
토큰 분류
|
| sum |
Identifier
|
| = |
Assignment operator
|
| 3 |
Integer literal
|
| + |
Addition operator
|
| 2 |
Integer literal
|
| ; |
End of statement
|
같이 보기
각주
참고 문헌