Вернуться ко всем викторинамВикторина, связанная с руководствомСредний Уровень6 Вопросы

Тест по токенизации

Проверьте свое понимание того, как текст разбивается на токены и почему это влияет на стоимость, ограничения контекста и поведение модели.

Связанные направляющие путиТокенизация
Вопрос 1 из 6

Что такое «токен» в контексте языковой модели?