Termo do glossário de IA

O que é Mecanismo de Atenção?

Definição

Um componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

CodificadorO componente de um modelo que transforma entradas em representações latentes.Atenção Multi-CabeçaUm mecanismo transformador que executa diversas operações de atenção em paralelo para capturar diferentes tipos de relacionamentos.ÁlibiUm método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.ClassificaçãoUma tarefa em que um modelo atribui uma entrada a uma ou mais categorias predefinidas.Janela de contextoA quantidade máxima de tokens de entrada que um modelo de linguagem pode processar de uma só vez.Desvio de dadosUma mudança nos dados de entrada do mundo real ao longo do tempo que pode degradar o desempenho do modelo.

Saiba mais em nossos guias gratuitos

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Veja também

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark