O que é Mecanismo de Atenção?

O componente de um modelo que transforma entradas em representações latentes.

Um mecanismo transformador que executa diversas operações de atenção em paralelo para capturar diferentes tipos de relacionamentos.

Um método de viés posicional que penaliza as pontuações de atenção com base na distância simbólica, ajudando os modelos a extrapolarem para contextos mais longos.

Uma tarefa em que um modelo atribui uma entrada a uma ou mais categorias predefinidas.

A quantidade máxima de tokens de entrada que um modelo de linguagem pode processar de uma só vez.

Uma mudança nos dados de entrada do mundo real ao longo do tempo que pode degradar o desempenho do modelo.