Токенизатор для компиляции языка программирования называют сканером (scanner) или лексическим анализатором (lexer).