Цитаты из книги   Обработка естественного языка в действии

Закон Ципфа гласит, что в некотором корпусе высказываний на естественном языке частотность любого слова обратно пропорциональна его позиции в таблице частотностей.

Вот эквиваленты основных блоков NLP в компиляторах языка программирования:

• токенизатор — сканер, лексический анализатор;

• словарь — лексикон;

• синтаксический анализатор — компилятор;

• токен, терм, слово или n-грамма — токен, символ или терминальный символ.

Токенизатор для компиляции языка программирования называют сканером (scanner) или лексическим анализатором (lexer).

Taming Text (Manni

Регулярные выражения используют специальный вид (класс) грамматики формального языка, называемый регулярной грамматикой.

Формальные языки — подмножество естественных языков.