Yapay Zeka Sözlüğü Terimi

Çok Kafalı Dikkat nedir?

Tanım

Farklı ilişki türlerini yakalamak için çeşitli dikkat operasyonlarını paralel olarak yürüten bir dönüştürücü mekanizma.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

TrafoParalel olarak diziler arasındaki ilişkileri modellemek için dikkati kullanan bir sinir mimarisi.Çoklu Sorgu AlmaHatırlamayı geliştirmek için kullanıcı sorgusunu çeşitli değişkenlere yeniden yazan bir alma tekniği.Dikkat MekanizmasıBir çıktı üretirken girdinin ilgili kısımlarına dinamik olarak odaklanan bir model bileşeni.Flaş DikkatiBellek kullanımını azaltan ve transformatör eğitimini ve çıkarımını hızlandıran optimize edilmiş bir dikkat algoritması.Çok Modlu ModelMetin, resim ve ses gibi birden fazla veri türünü işleyebilen veya üretebilen bir model.Bilgi GrafiğiAkıl yürütme veya erişim için kullanılan varlıkların ve ilişkilerin grafik yapısı.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Ayrıca bakınız

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct