Лексички анализатор: Разлика помеѓу преработките

'''Лексичка анализа''' е процес во кој некој влез од низа од знаци (на пример изворниот код кај компјутерски програм) да произведе како излез низа од симболи наречени “лексички токени” или само “токени”. На пример, лексерите кај многу програмски јазици низата од знаци 123 abc ја делат на два токена: 123 и abc , празното место не се зема во предвид. Целта на создавањето на токените е обично тие да се предадат на друга програма како што е [[расчленување (информатика)|расчленувачот]] (парсер).

 

 

За многу јазици правењето на лексичка анализа може да се направи во едно поминување- со читање на знак по знак од влезот. Но, моногу комерцијални компајлери користат на рака напишани (не автоматски генерирани) лексери бидејќи во нив е возможно многу полесно да се интегрираат справувачи со грешки.

* Compiler Construction, Niklaus Wirth, 1996, ISBN 0-201-40353-6