Término del glosario de IA

¿Qué es ficha?

Definición

Un fragmento de texto procesado por modelos de lenguaje, como una palabra o un símbolo.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

IA generativaSistemas de inteligencia artificial que producen contenido nuevo, como texto, imágenes, audio, video o código.Modelo de lenguaje grande (LLM)Un modelo de lenguaje entrenado en corpus de texto masivos para generar y analizar texto.Modelo multimodalUn modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.FrasePiezaUn tokenizador independiente del idioma que aprende unidades de subpalabras directamente a partir de texto sin formato sin dividirlo previamente en espacios en blanco.GSM8KUn punto de referencia de los problemas escritos de matemáticas de la escuela primaria que se utiliza para evaluar el razonamiento paso a paso en modelos de lenguaje.TokenizaciónEl proceso de dividir el texto en tokens para la entrada del modelo.

Obtenga más información en nuestras guías gratuitas.

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

Véase también

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model