Разлика помеѓу преработките на „Лексички анализатор“

с
→‎top: Јазична исправка, replaced: базиран → заснован
с (→‎top: Јазична исправка, replaced: датотека → податотека (2) using AWB)
с (→‎top: Јазична исправка, replaced: базиран → заснован)
Лексерот или лексичкиот анализатор се состои од два дела: скенер и евалуатор. (Овие делови обично се интегрирани поради ефикасноста т.е. за да работат паралелно).
 
Во ''првата фаза'', скенирањето, е базиранозасновано на [[детерминистички автомат]]. Тој ги енкодира информациите барајќи одредени токени. На пример токенот integer може да содржи некаква низа нумерички цифри. Во многу случаи првиот знак кој не е празно место може да се одреди за да се добие токенот кој следи, потоа влезот се процесира знак по знак сè додека не се стигне до знак кој не е прифатлив за таква секвенца.
 
''Втората фаза'', евалуацијата, кој ја ги поминува токените и им дава вредност т.е. создава стек на вредности. Токените комбинирани со нивните вредности потоа се даваат на расчленувачот.