Назад до всіх тестівВікторина, пов’язана з посібникомСередній Рівень6 Питання

Вікторина про токенізацію SentencePiece

Оцініть своє розуміння того, як SentencePiece токенізує необроблений текст незалежним від мови оборотним способом.

Пов'язані напрямні шляхи

Питання 1 з 6Правильно: 0

Яке ключове припущення уникає SentencePiece, на яке спираються традиційні токенізери?