Лексички анализатор: Разлика помеѓу преработките

'''Лексичка анализа''' е процес во кој некој влез од низа од знаци (на пример изворниот код кај компјутерски програм) да произведе како излез низа од симболи наречени “лексички токени” или само “токени”. На пример, лексерите кај многу програмски јазици низата од знаци 123 abc ја делат на два токена: 123 и abc , празноро место не се зема во предвид. Целта на создавањето на токените е обично тие да се предадат на друга програма како что е парсерот.