Lexeme:Bir dilin en düşük seviyeli sözdizimsel birimidir.
Token:Lexemeların kategorisidir.Tokenları kendimiz isimlendiririz.Aşağıda = için ben token olarak sign yazdım siz esitde yazabilirdiniz tamamen adlandırma dili yazana kişiye kalmıştır.
int a=b+c; ifadesini lexeme ve tokenlarını belirleyelim.Anlamlı herbir söz dizimsel birim lexemedır(=,a,+ vb.)
lexeme token
int type
a variable
= assign
b variable
+ add
c variable
; semicolon
