Lexer

hoe werkt een lexer
De lexer verandert de betekenisloze string gewoon in een platte lijst met dingen zoals "letterlijke nummer", "letterlijke tekenreeks", "identifier" of...