Разлика помеѓу преработките на „Лексички анализатор“

нема опис на уредувањето
 
 
Лексичка анализа е процес во кој некој влез од низа од знаци (на пример изворниот код кај компјутерски програм) да произведе како излез низа од симболи наречени “лексички токени” или само “токени”. На пример, лексерите кај многу програмски јазици низата од знаци 123 abc ја делат на два токена: 123 и abc , празноро место не се зема во предвид. Целта на создавањето на токените е обично тие да се предадат на друга програма како что е парсерот.
На пример, во изворниот код нанекој програм стрингот:
 
net_worth_future = (assets - liabilities);
 
 
може да биде конвертиран во тек на лексички токени:
 
NAME "net_worth_future"
EQUALS
OPEN_PARENTHESIS
NAME "assets"
MINUS
NAME "liabilities"
CLOSE_PARENTHESIS
SEMICOLON
 
 
228

уредувања