Yapay Zeka Sözlüğü Terimi

AliBi nedir?

Tanım

Dikkat puanlarını simge mesafesine göre cezalandıran ve modellerin daha uzun bağlamlara göre tahmin yapmasına yardımcı olan konumsal bir önyargı yöntemi.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

RoPE (Döner Konumsal Gömmeler)Göreli belirteç konumlarını kodlamak için sorgu ve anahtar vektörlerini döndüren konumsal bir kodlama yöntemi.Konumsal KodlamaTransformatörlerin sıra sırasını ayırt edebilmesi için belirteç yerleştirmelerine bilgi eklendi.Sürgülü Pencere Dikkatİşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.Algoritmik ÖnyargıÇarpık veriler, varsayımlar veya modelleme seçimlerinden kaynaklanan model çıktılarındaki sistematik adaletsizlik.Dikkat MekanizmasıBir çıktı üretirken girdinin ilgili kısımlarına dinamik olarak odaklanan bir model bileşeni.Ön yargıVerilerde veya model davranışında tutarlı bir hata veya adaletsizlik modeli.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

ALiBi Position Bias

Ayrıca bakınız

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)