Yapay Zeka Sözlüğü Terimi

Nedir QLoRA?

Tanım

Bellek ihtiyaçlarını azaltmak için 4 bitlik ağırlık nicelemesini LoRA bağdaştırıcılarıyla birleştiren bir ince ayar tekniği.

İlgili terimler

LoRA (Düşük Sıralı Uyarlama)
Düşük dereceli bağdaştırıcı matrisleri ekleyen, parametre açısından verimli bir ince ayar yöntemi.
Niceleme
Model ağırlıklarını 8 bit veya 4 bit gibi daha düşük hassasiyetli formatlara dönüştürme.
İnce Ayar
Önceden eğitilmiş bir modeli belirli bir göreve uyarlamak için alana özgü veriler üzerinde sürekli eğitim.
Talimat Ayarlama
Görev takibini geliştirmek için talimat-yanıt çiftleri üzerinde bir modele ince ayar yapılması.
Model Niceleme
Bellek ve çıkarım maliyetini azaltmak için model ağırlıklarının sayısal hassasiyetinin azaltılması.
Parametre Açısından Verimli İnce Ayar (PEFT)
Eklenen parametrelerin küçük bir alt kümesini eğiterek modelleri uyarlayan yöntemler.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin