Quiz lié à un guide · Moyen Niveau

Quiz sur les disparités de tokenisation selon les langues

Teste pourquoi les tokeniseurs divisent certaines langues en plusieurs jetons, comment cela affecte les fenêtres de coût et de contexte, et comment auditer et réduire l'écart.

Question 1 de 8

What is the main cause of large token-count gaps between languages?