Лексички анализатор: Разлика помеѓу преработките

[непроверена преработка][непроверена преработка]
Избришана содржина Додадена содржина
Нема опис на уредувањето
Нема опис на уредувањето
Ред 1:
 
 
Лексичка анализа е процес во кој некој влез од низа од знаци (на пример изворниот код кај компјутерски програм) да произведе како излез низа од симболи наречени “лексички токени” или само “токени”. На пример, лексерите кај многу програмски јазици низата од знаци 123 abc ја делат на два токена: 123 и abc , празноро место не се зема во предвид. Целта на создавањето на токените е обично тие да се предадат на друга програма како что е парсерот.
Ред 13 ⟶ 12:
На пример, во изворниот код нанекој програм стрингот:
 
net_worth_future = (assets - liabilities);
 
 
може да биде конвертиран во тек на лексички токени:
 
NAME "net_worth_future"
EQUALS
OPEN_PARENTHESIS
NAME "assets"
MINUS
NAME "liabilities"
CLOSE_PARENTHESIS
SEMICOLON