Término del glosario de IA

¿Qué es Tokenización?

Definición

El proceso de dividir el texto en tokens para la entrada del modelo.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Ventana de contextoLa cantidad máxima de tokens de entrada que un modelo de lenguaje puede procesar a la vez.BPE (codificación de pares de bytes)Un algoritmo de tokenización de subpalabras que fusiona los pares de caracteres más frecuentes en tokens reutilizables.CodificadorEl componente de un modelo que transforma la entrada en representaciones latentes.Modelo multimodalUn modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.OCR (reconocimiento óptico de caracteres)Tecnología que convierte texto en imágenes o escaneados en texto legible por máquina.FrasePiezaUn tokenizador independiente del idioma que aprende unidades de subpalabras directamente a partir de texto sin formato sin dividirlo previamente en espacios en blanco.

Obtenga más información en nuestras guías gratuitas.

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Véase también

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning