← Вернуться ко всем викторинамВикторина, связанная с руководством • Средний Уровень • 6 Вопросы

Тест по токенизации и кодированию пар байтов

Проверьте, что вы знаете о том, как текст становится токенами и как BPE формирует словарь.

Вопрос 1 из 6

Что дает токенизация для чтения языковой модели?