Término del glosario de IA

que es Tokenización?

Definición

El proceso de dividir el texto en tokens para la entrada del modelo.

Términos relacionados

Ventana de contexto
La cantidad máxima de tokens de entrada que un modelo de lenguaje puede procesar a la vez.
BPE (codificación de pares de bytes)
Un algoritmo de tokenización de subpalabras que fusiona los pares de caracteres más frecuentes en tokens reutilizables.
Codificador
El componente de un modelo que transforma la entrada en representaciones latentes.
Modelo multimodal
Un modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.
OCR (reconocimiento óptico de caracteres)
Tecnología que convierte texto en imágenes o escaneados en texto legible por máquina.
FrasePieza
Un tokenizador independiente del idioma que aprende unidades de subpalabras directamente a partir de texto sin formato sin dividirlo previamente en espacios en blanco.

Obtenga más información en nuestras guías gratuitas.

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

See also

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning
Explore el glosario completo de IAExplora todas las guías gratuitas de IA