Término del glosario de IA

¿Qué es FrasePieza?

Definición

Un tokenizador independiente del idioma que aprende unidades de subpalabras directamente a partir de texto sin formato sin dividirlo previamente en espacios en blanco.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

RECORTARUna arquitectura de modelo multimodal que aprende representaciones compartidas entre texto e imágenes.Aprendizaje continuoEnfoques de entrenamiento que permiten que un modelo siga aprendiendo de nuevos datos sin olvidar el conocimiento previo.Aprendizaje en contextoLa capacidad de un modelo para seguir patrones a partir de ejemplos proporcionados directamente en el mensaje.Clasificación de intencionesPredecir el propósito del usuario a partir de una consulta de texto para encaminarlo correctamente.Modelo de lenguaje grande (LLM)Un modelo de lenguaje entrenado en corpus de texto masivos para generar y analizar texto.fichaUn fragmento de texto procesado por modelos de lenguaje, como una palabra o un símbolo.

Obtenga más información en nuestras guías gratuitas.

SentencePiece Tokenization

Véase también

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search