Termo do glossário de IA

O que é Codificação posicional?

Definição

Informações adicionadas aos embeddings de tokens para que os transformadores possam distinguir a ordem da sequência.

Termos relacionados

RoPE (incorporação posicional rotativa)
Um método de codificação posicional que gira vetores de consulta e chave para codificar posições relativas de token.
Álibi
Um método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.
Ajuste fino com eficiência de parâmetros (PEFT)
Métodos que adaptam modelos treinando um pequeno subconjunto de parâmetros adicionados.
AGI (Inteligência Geral Artificial)
Um hipotético sistema de IA que pode realizar a maioria das tarefas intelectuais em nível humano em muitos domínios.
Agente de IA
Um sistema de software que pode observar, raciocinar e realizar ações para atingir um objetivo, geralmente usando ferramentas e memória.
Anotação
Rótulos ou metadados adicionados por humanos usados para treinar ou avaliar modelos de aprendizado de máquina.

Saiba mais em nossos guias gratuitos

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Veja também

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece
Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA