Término del glosario de IA

que es FrasePieza?

Definición

Un tokenizador independiente del idioma que aprende unidades de subpalabras directamente a partir de texto sin formato sin dividirlo previamente en espacios en blanco.

Términos relacionados

RECORTAR
Una arquitectura de modelo multimodal que aprende representaciones compartidas entre texto e imágenes.
Aprendizaje continuo
Enfoques de entrenamiento que permiten que un modelo siga aprendiendo de nuevos datos sin olvidar el conocimiento previo.
Aprendizaje en contexto
La capacidad de un modelo para seguir patrones a partir de ejemplos proporcionados directamente en el mensaje.
Clasificación de intenciones
Predecir el propósito del usuario a partir de una consulta de texto para encaminarlo correctamente.
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje entrenado en corpus de texto masivos para generar y analizar texto.
ficha
Un fragmento de texto procesado por modelos de lenguaje, como una palabra o un símbolo.

Obtenga más información en nuestras guías gratuitas.

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Explore el glosario completo de IAExplora todas las guías gratuitas de IA