Cuestionario vinculado a una guía · Medio Nivel

Prueba de tokenización y codificación de pares de bytes

Pruebe lo que sabe sobre cómo el texto se convierte en tokens y cómo BPE desarrolla un vocabulario.

Pregunta 1 de 6

¿Qué produce la tokenización para que lo lea un modelo de lenguaje?