Yapay Zeka Sözlüğü Terimi

Dikkat Mekanizması nedir?

Tanım

Bir çıktı üretirken girdinin ilgili kısımlarına dinamik olarak odaklanan bir model bileşeni.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

KodlayıcıGirdiyi gizli temsillere dönüştüren bir modelin bileşeni.Çok Kafalı DikkatFarklı ilişki türlerini yakalamak için çeşitli dikkat operasyonlarını paralel olarak yürüten bir dönüştürücü mekanizma.AliBiDikkat puanlarını simge mesafesine göre cezalandıran ve modellerin daha uzun bağlamlara göre tahmin yapmasına yardımcı olan konumsal bir önyargı yöntemi.sınıflandırmaBir modelin bir veya daha fazla önceden tanımlanmış kategoriye girdi atadığı bir görev.Bağlam PenceresiBir dil modelinin aynı anda işleyebileceği maksimum giriş belirteci miktarı.Veri KaymasıGerçek dünya giriş verilerinde zaman içinde model performansını düşürebilecek bir değişim.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Ayrıca bakınız

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark