Termo do glossário de IA

O que é Álibi?

Definição

Um método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.

Termos relacionados

RoPE (incorporação posicional rotativa)
Um método de codificação posicional que gira vetores de consulta e chave para codificar posições relativas de token.
Codificação posicional
Informações adicionadas aos embeddings de tokens para que os transformadores possam distinguir a ordem da sequência.
Atenção à janela deslizante
Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.
Viés Algorítmico
Injustiça sistemática nos resultados do modelo causada por dados, suposições ou escolhas de modelagem distorcidas.
Mecanismo de Atenção
Um componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.
Viés
Um padrão consistente de erro ou injustiça nos dados ou no comportamento do modelo.

Saiba mais em nossos guias gratuitos

ALiBi Position Bias

Veja também

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA