Yapay Zeka Sözlüğü Terimi

Nedir Dikkat Mekanizması?

Tanım

Bir çıktı üretirken girdinin ilgili kısımlarına dinamik olarak odaklanan bir model bileşeni.

İlgili terimler

Kodlayıcı
Girdiyi gizli temsillere dönüştüren bir modelin bileşeni.
Çok Kafalı Dikkat
Farklı ilişki türlerini yakalamak için çeşitli dikkat operasyonlarını paralel olarak yürüten bir dönüştürücü mekanizma.
AliBi
Dikkat puanlarını simge mesafesine göre cezalandıran ve modellerin daha uzun bağlamlara göre tahmin yapmasına yardımcı olan konumsal bir önyargı yöntemi.
sınıflandırma
Bir modelin bir veya daha fazla önceden tanımlanmış kategoriye girdi atadığı bir görev.
Bağlam Penceresi
Bir dil modelinin aynı anda işleyebileceği maksimum giriş belirteci miktarı.
Veri Kayması
Gerçek dünya giriş verilerinde zaman içinde model performansını düşürebilecek bir değişim.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark
Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin