12 - Lexical Tokens

Lexical Analysis는 앞서 배운 Formal Language, Regular Expression, Finite Automata 등을 이용하여 character를 분석하는 과정이다. 그 character 사이에서 이름, 키워드, 특수한 마크가 있는지 알아내야 한다. 이 부분에서 공백, 주석과 같이 처리하지 않는 부분도 걸러져야 한다. Lexical Tokens 개념 Token이란 언어에서 인식을 하는 부분을 말한다. 각각 type들이 정해져 있으며 ID는 변수명, 함수명 NUM은 정수, REAL은 실수, 각종 예약어들과 연산자들이 이에 해당한다. 반면에 주석, 전처리기와 같은 문자들은 인식을 하지 않는다 ex ) #define, #include, //aaa Two Types of Tokens 토..

2021.07.20