Тест за токенизиране на поддуми

Оценете вашето разбиране за това защо и как моделите разделят текста на подсловни единици.