Termo do glossário de IA

O que é Atenção à janela deslizante?

Definição

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.

Termos relacionados

Poda
Removendo pesos de modelo ou neurônios menos importantes para reduzir o tamanho e a computação.
Faturamento baseado no uso
Preços onde os custos aumentam com chamadas de API, tokens, tempo de inferência ou computação consumida.
Lei de escala
Uma relação empírica que mostra como o desempenho melhora com o tamanho do modelo, dados ou computação.
Modelo esparso
Um modelo onde muitos parâmetros são zero ou inativos para reduzir a computação.
Decodificação Especulativa
Um método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.
Janela de contexto
A quantidade máxima de tokens de entrada que um modelo de linguagem pode processar de uma só vez.

Saiba mais em nossos guias gratuitos

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Veja também

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA