Termo do glossário de IA

O que é Peça de frase?

Definição

Um tokenizer independente de idioma que aprende unidades de subpalavras diretamente do texto bruto, sem pré-divisão em espaços em branco.

Termos relacionados

GRAMPO
Uma arquitetura de modelo multimodal que aprende representações compartilhadas entre texto e imagens.
Aprendizagem Contínua
Abordagens de treinamento que permitem que um modelo continue aprendendo com novos dados sem esquecer o conhecimento prévio.
Aprendizagem em contexto
A capacidade de um modelo de seguir padrões de exemplos fornecidos diretamente no prompt.
Classificação de intenção
Prever o propósito do usuário a partir de uma consulta de texto para encaminhá-lo corretamente.
Modelo de linguagem grande (LLM)
Um modelo de linguagem treinado em corpora de texto massivo para gerar e analisar texto.
Símbolo
Um pedaço de texto processado por modelos de linguagem, como uma palavra ou símbolo.

Saiba mais em nossos guias gratuitos

SentencePiece Tokenization

Veja também

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA