Termo do glossário de IA

O que é Peça de frase?

Definição

Um tokenizer independente de idioma que aprende unidades de subpalavras diretamente do texto bruto, sem pré-divisão em espaços em branco.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

GRAMPOUma arquitetura de modelo multimodal que aprende representações compartilhadas entre texto e imagens.Aprendizagem ContínuaAbordagens de treinamento que permitem que um modelo continue aprendendo com novos dados sem esquecer o conhecimento prévio.Aprendizagem em contextoA capacidade de um modelo de seguir padrões de exemplos fornecidos diretamente no prompt.Classificação de intençãoPrever o propósito do usuário a partir de uma consulta de texto para encaminhá-lo corretamente.Modelo de linguagem grande (LLM)Um modelo de linguagem treinado em corpora de texto massivo para gerar e analisar texto.SímboloUm pedaço de texto processado por modelos de linguagem, como uma palavra ou símbolo.

Saiba mais em nossos guias gratuitos

SentencePiece Tokenization

Veja também

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search