Yapay Zeka Sözlüğü Terimi

QLoRA nedir?

Tanım

Bellek ihtiyaçlarını azaltmak için 4 bitlik ağırlık nicelemesini LoRA bağdaştırıcılarıyla birleştiren bir ince ayar tekniği.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

LoRA (Düşük Sıralı Uyarlama)Düşük dereceli bağdaştırıcı matrisleri ekleyen, parametre açısından verimli bir ince ayar yöntemi.NicelemeModel ağırlıklarını 8 bit veya 4 bit gibi daha düşük hassasiyetli formatlara dönüştürme.İnce AyarÖnceden eğitilmiş bir modeli belirli bir göreve uyarlamak için alana özgü veriler üzerinde sürekli eğitim.Talimat AyarlamaGörev takibini geliştirmek için talimat-yanıt çiftleri üzerinde bir modele ince ayar yapılması.Model NicelemeBellek ve çıkarım maliyetini azaltmak için model ağırlıklarının sayısal hassasiyetinin azaltılması.Parametre Açısından Verimli İnce Ayar (PEFT)Eklenen parametrelerin küçük bir alt kümesini eğiterek modelleri uyarlayan yöntemler.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

QLoRA and 4-Bit Fine-Tuning

Ayrıca bakınız

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)