← Назад до всіх тестівВікторина, пов’язана з посібником • Середній Рівень • 6 Питання

Тест про токенізацію та кодування пари байтів

Перевірте, що ви знаєте про те, як текст стає токеном і як BPE створює словниковий запас.

Питання 1 з 6

Що створює токенізація для читання мовної моделі?