Atenção à janela deslizante
A atenção da janela deslizante restringe cada token para atender apenas a uma vizinhança de tamanho fixo de tokens próximos, em vez de toda a sequência.
Visão geral
This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.
Mergulho profundo
A autoatenção padrão compara cada token com todos os outros tokens, portanto, uma sequência de comprimento N requer comparações aproximadas de N quadrados. A atenção da janela deslizante corrige isso dando a cada token uma janela de tamanho W (digamos 4.096 tokens) e atendendo apenas os vizinhos dentro dessa janela. O custo cresce como N vezes W em vez de N ao quadrado. Crucialmente, o empilhamento de muitas camadas em janelas expande o campo receptivo efetivo: após L camadas, a informação pode se propagar através de aproximadamente L vezes W tokens, como o crescente campo receptivo de uma CNN. Mistral 7B popularizou isso com uma janela de 4.096 tokens em 32 camadas, atingindo uma extensão teórica de 131 mil tokens. Os modelos geralmente misturam camadas de janelas com camadas ocasionais de atenção total para preservar links de longo alcance.
Visão Técnica
Na máscara de atenção, uma consulta na posição i só pode ver chaves das posições i menos W mais 1 até i (caso causal). Essa máscara esparsa significa que o cache KV precisa apenas dos últimos W tokens por camada, reduzindo a memória durante a geração. Como a janela muda a cada novo token, ela emparelha naturalmente com um cache de buffer contínuo que substitui as entradas mais antigas em vez de crescer para sempre.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro da atenção das janelas deslizantes
Os projetos híbridos agora intercalam algumas camadas globais ou de atenção total entre muitas camadas de janelas deslizantes, equilibrando a eficiência com o verdadeiro raciocínio de longo alcance. Gemma 2 e outros alternam blocos locais e globais. Espere que a atenção da janela se combine com modelos de espaço de estado, coletores de atenção e compactação de cache KV para que os modelos de fronteira lidem com contextos de milhões de tokens sem memória descontrolada. Está se tornando um bloco de construção padrão, em vez de uma otimização exótica.
Implementação no mundo real
Mistral 7B usa uma janela deslizante de 4.096 tokens em suas camadas para lidar com prompts longos de maneira barata em GPUs de consumo.
Longformer aplica atenção em janela mais alguns tokens globais para classificar e resumir documentos de várias páginas.
Gemma 2 alterna camadas locais de janela deslizante com camadas de atenção global para equilibrar velocidade e recuperação de longo alcance.
Os caches KV de buffer contínuo em assistentes de bate-papo mantêm apenas a janela de tokens mais recente, limitando a memória durante longas conversas.
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Atenção de consulta agrupada
Perguntas frequentes
What is Sliding Window Attention?
A atenção da janela deslizante restringe cada token para atender apenas a uma vizinhança de tamanho fixo de tokens próximos, em vez de toda a sequência. Isso reduz o custo quadrático da atenção padrão para linear, tornando a execução de modelos de longo contexto muito mais barata.
Qual é o principal benefício computacional da atenção da janela deslizante em relação à autoatenção padrão?
Ao limitar cada token a uma janela fixa de W vizinhos, o custo cresce N vezes W (linear em N) em vez de N ao quadrado.
No projeto do Mistral 7B, como a informação ainda pode viajar muito além de uma única janela de 4.096 tokens?
Como uma CNN, cada camada empurra as informações uma janela adiante, de modo que L camadas fornecem um intervalo efetivo de aproximadamente L vezes W tokens.
Por que a atenção da janela deslizante reduz a memória durante a geração de texto?
Como um token atende apenas à sua janela recente, entradas de chave/valor mais antigas podem ser descartadas, geralmente por meio de um cache de buffer contínuo.
Que escolha de design modelos como o Gemma 2 usam ao lado de janelas deslizantes para manter o raciocínio de longo alcance?
A mistura ocasional de camadas globais/de atenção total entre as locais preserva verdadeiras conexões de longa distância que o janelamento puro enfraquece.
Para uma janela deslizante causal de tamanho W, quais chaves uma consulta na posição que eu pode atender?
No caso causal, a consulta vê a si mesma e os tokens W menos 1 imediatamente antes dela, nunca tokens futuros.