Termo do glossário de IA

O que é Álibi?

Definição

Um método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

RoPE (incorporação posicional rotativa)Um método de codificação posicional que gira vetores de consulta e chave para codificar posições relativas de token.Codificação posicionalInformações adicionadas aos embeddings de tokens para que os transformadores possam distinguir a ordem da sequência.Atenção à janela deslizanteUm padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.Viés AlgorítmicoInjustiça sistemática nos resultados do modelo causada por dados, suposições ou escolhas de modelagem distorcidas.Mecanismo de AtençãoUm componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.ViésUm padrão consistente de erro ou injustiça nos dados ou no comportamento do modelo.

Saiba mais em nossos guias gratuitos

ALiBi Position Bias

Veja também

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)