Вернуться ко всем викторинамВикторина, связанная с руководствомСредний Уровень6 Вопросы

Тест по токенизации и кодированию пар байтов

Проверьте, что вы знаете о том, как текст становится токенами и как BPE формирует словарь.

Связанные направляющие пути

Вопрос 1 из 6Правильно: 0

Что дает токенизация для чтения языковой модели?