Termo do glossário de IA

O que é Símbolo?

Definição

Um pedaço de texto processado por modelos de linguagem, como uma palavra ou símbolo.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

IA generativaSistemas de IA que produzem novos conteúdos, como texto, imagens, áudio, vídeo ou código.Modelo de linguagem grande (LLM)Um modelo de linguagem treinado em corpora de texto massivo para gerar e analisar texto.Modelo MultimodalUm modelo que pode processar ou gerar vários tipos de dados, como texto, imagem e áudio.Peça de fraseUm tokenizer independente de idioma que aprende unidades de subpalavras diretamente do texto bruto, sem pré-divisão em espaços em branco.GSM8KUma referência de problemas de palavras matemáticas do ensino fundamental usado para avaliar o raciocínio passo a passo em modelos de linguagem.TokenizaçãoO processo de divisão de texto em tokens para entrada do modelo.

Saiba mais em nossos guias gratuitos

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

Veja também

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model