Yapay Zeka Sözlüğü Terimi

Flaş Dikkati nedir?

Tanım

Bellek kullanımını azaltan ve transformatör eğitimini ve çıkarımını hızlandıran optimize edilmiş bir dikkat algoritması.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

Özellik MağazasıEğitim ve çıkarım amacıyla doğrulanmış makine öğrenimi özelliklerini tutarlı bir şekilde depolamak ve sunmak için yönetilen bir sistem.Geri yayılımTahmin hatalarını ağ üzerinden geriye doğru yayarak model ağırlıklarını güncelleyen temel eğitim algoritması.Model NicelemeBellek ve çıkarım maliyetini azaltmak için model ağırlıklarının sayısal hassasiyetinin azaltılması.TrafoParalel olarak diziler arasındaki ilişkileri modellemek için dikkati kullanan bir sinir mimarisi.Eğitim KaybıEğitim sırasında hesaplanan ve zamanla aşağıya doğru optimize edilen model hata değeri.Çok Kafalı DikkatFarklı ilişki türlerini yakalamak için çeşitli dikkat operasyonlarını paralel olarak yürüten bir dönüştürücü mekanizma.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Ayrıca bakınız

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop