← Retour à tous les quizQuiz lié à un guide • Moyen Niveau • 6 Questions

Quiz sur la tokenisation de SentencePièce

Évaluez votre compréhension de la façon dont SentencePièce tokenise le texte brut d'une manière réversible et indépendante de la langue.

Chemins de guidage associésTokenisation de la pièce de phrase
Question 1 de 6

Quelle hypothèse clé SentencePièce évite-t-elle sur laquelle s'appuient les tokeniseurs traditionnels ?