Término del glosario de IA

que es ficha?

Definición

Un fragmento de texto procesado por modelos de lenguaje, como una palabra o un símbolo.

Términos relacionados

IA generativa
Sistemas de inteligencia artificial que producen contenido nuevo, como texto, imágenes, audio, video o código.
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje entrenado en corpus de texto masivos para generar y analizar texto.
Modelo multimodal
Un modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.
FrasePieza
Un tokenizador independiente del idioma que aprende unidades de subpalabras directamente a partir de texto sin formato sin dividirlo previamente en espacios en blanco.
GSM8K
Un punto de referencia de los problemas escritos de matemáticas de la escuela primaria que se utiliza para evaluar el razonamiento paso a paso en modelos de lenguaje.
Tokenización
El proceso de dividir el texto en tokens para la entrada del modelo.

Obtenga más información en nuestras guías gratuitas.

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

See also

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model
Explore el glosario completo de IAExplora todas las guías gratuitas de IA