← Назад до всіх тестівВікторина, пов’язана з посібником • Середній Рівень • 6 Питання

Тест про токенізацію та кодування пари байтів

Перевірте, що ви знаєте про те, як текст стає токеном і як BPE створює словниковий запас.

Пов'язані напрямні шляхи

Питання 1 з 6Правильно: 0

Що створює токенізація для читання мовної моделі?