Quiz sur la tokenisation et le codage de paires d'octets

Testez ce que vous savez sur la façon dont le texte devient des jetons et sur la manière dont BPE construit un vocabulaire.