Yapay Zeka Sözlüğü Terimi

Budama nedir?

Tanım

Boyutu ve hesaplamayı azaltmak için daha az önemli model ağırlıklarının veya nöronların kaldırılması.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

Sürgülü Pencere Dikkatİşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.Ölçekleme KanunuPerformansın model boyutu, veriler veya bilgi işlemle nasıl arttığını gösteren ampirik bir ilişki.Damıtılmış ModelÇıkarımda daha az işlem kullanırken daha büyük bir modelin davranışını taklit etmek üzere eğitilmiş daha küçük bir model.Geri yayılımTahmin hatalarını ağ üzerinden geriye doğru yayarak model ağırlıklarını güncelleyen temel eğitim algoritması.HesaplaModelleri eğitmek ve çalıştırmak için gereken işlem kaynakları, genellikle FLOPS veya GPU saatleri cinsinden ölçülür.GradyanKaybı azaltmak için her parametrenin ne kadar değişmesi gerektiğini gösteren bir vektör.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Attention Rollout and Head PruningStructured Pruning and Layer DroppingModel Pruning

Ayrıca bakınız

Prompt InjectionQuantizationPrompt EngineeringRAG (Retrieval-Augmented Generation)PromptRecallPretrainingRecommendation System