Termo do glossário de IA

O que é Atenção instantânea?

Definição

Um algoritmo de atenção otimizado que reduz o uso de memória e acelera o treinamento e a inferência do transformador.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

Loja de recursosUm sistema gerenciado para armazenar e fornecer recursos de ML validados de forma consistente para treinamento e inferência.RetropropagaçãoO algoritmo de treinamento principal que atualiza os pesos do modelo propagando erros de previsão para trás pela rede.Quantização de ModeloReduzindo a precisão numérica dos pesos do modelo para diminuir o custo de memória e inferência.TransformadorUma arquitetura neural que usa atenção para modelar relacionamentos entre sequências em paralelo.Perda de treinamentoO valor do erro do modelo calculado durante o treinamento e otimizado para baixo ao longo do tempo.Atenção Multi-CabeçaUm mecanismo transformador que executa diversas operações de atenção em paralelo para capturar diferentes tipos de relacionamentos.

Saiba mais em nossos guias gratuitos

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Veja também

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop