Termo do glossário de IA

O que é Codificação posicional?

Definição

Informações adicionadas aos embeddings de tokens para que os transformadores possam distinguir a ordem da sequência.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

RoPE (incorporação posicional rotativa)Um método de codificação posicional que gira vetores de consulta e chave para codificar posições relativas de token.ÁlibiUm método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.Ajuste fino com eficiência de parâmetros (PEFT)Métodos que adaptam modelos treinando um pequeno subconjunto de parâmetros adicionados.AGI (Inteligência Geral Artificial)Um hipotético sistema de IA que pode realizar a maioria das tarefas intelectuais em nível humano em muitos domínios.Agente de IAUm sistema de software que pode observar, raciocinar e realizar ações para atingir um objetivo, geralmente usando ferramentas e memória.AnotaçãoRótulos ou metadados adicionados por humanos usados para treinar ou avaliar modelos de aprendizado de máquina.

Saiba mais em nossos guias gratuitos

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Veja também

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece