Yapay Zeka Sözlüğü Terimi

Nedir AliBi?

Tanım

Dikkat puanlarını simge mesafesine göre cezalandıran ve modellerin daha uzun bağlamlara göre tahmin yapmasına yardımcı olan konumsal bir önyargı yöntemi.

İlgili terimler

RoPE (Döner Konumsal Gömmeler)
Göreli belirteç konumlarını kodlamak için sorgu ve anahtar vektörlerini döndüren konumsal bir kodlama yöntemi.
Konumsal Kodlama
Transformatörlerin sıra sırasını ayırt edebilmesi için belirteç yerleştirmelerine bilgi eklendi.
Sürgülü Pencere Dikkat
İşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.
Algoritmik Önyargı
Çarpık veriler, varsayımlar veya modelleme seçimlerinden kaynaklanan model çıktılarındaki sistematik adaletsizlik.
Dikkat Mekanizması
Bir çıktı üretirken girdinin ilgili kısımlarına dinamik olarak odaklanan bir model bileşeni.
Ön yargı
Verilerde veya model davranışında tutarlı bir hata veya adaletsizlik modeli.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin