Разница между токенами и терминалами

Как быстро изучить TypeScript Изучение

Токены и терминалы — похожие слова и часто используются взаимозаменяемо. Но между обоими терминами есть концептуальная разница, различия обсуждаются в этой статье.

Токены

Токены представляют собой буквенно-цифровые символы. Это наименьшая единица грамматики в языках программирования. Когда мы вводим данные в лексический анализатор, он считывает символы и преобразует их в лексемы, которые затем проходят следующие этапы компиляции. Токены подразделяются на различные типы: ключевые слова, операторы, строки, константы, специальные символы и идентификаторы. Пример: A, @, b, (, ) и т. д.

Терминалы

Терминал — это символ, который появляется в правой части продукционного правила и не может быть изменен с помощью правил грамматики. Терминальные символы в основном представляют собой набор токенов и в основном символы, из которых создаются строки. В основном они представлены строчными буквами. Пример а, б, в и т. д.

Разница между токенами и терминалами

Токен

Терминал

1. Токены — это набор строк, используемых в языке программирования. Терминалы — это набор символов, используемых в продукционных правилах.
2. Компилятор разбивает программу на мельчайшие единицы, известные как токены, которые проходят через различные этапы компиляции. Символы или токены называются терминалами, когда они используются в формальных языках.
3. Токены можно писать заглавными буквами. Терминалы пишутся только строчными буквами.
4. Он может состоять из букв, цифр и специальных символов. Там только алфавиты.
5. Они генерируются лексическим анализатором. Они определяются формальными языками.
6. Токены используются для описания соответствующих символов в источнике. Терминалы используются для описания работы парсера, с которым он работает.
7. Примеры: A, @, b, (, ) и т. д. Примеры: а, б, в, г и т. д.
Читайте также:  Наука о данных за 5 минут: что такое очистка данных?
Оцените статью
bestprogrammer.ru
Добавить комментарий

Adblock
detector