Istilah Glosarium AI

Apa itu QLoRA?

Definisi

Teknik penyempurnaan yang menggabungkan kuantisasi bobot 4-bit dengan adaptor LoRA untuk mengurangi kebutuhan memori.

Istilah terkait

LoRA (Adaptasi Tingkat Rendah)
Metode penyesuaian parameter yang efisien yang menambahkan matriks adaptor peringkat rendah.
Kuantisasi
Mengonversi bobot model ke format presisi lebih rendah seperti 8-bit atau 4-bit.
Penyempurnaan
Melanjutkan pelatihan pada data spesifik domain untuk mengadaptasi model yang telah dilatih sebelumnya ke tugas tertentu.
Penyetelan Instruksi
Menyempurnakan model pasangan instruksi-respons untuk meningkatkan kemampuan mengikuti tugas.
Kuantisasi Model
Mengurangi presisi numerik bobot model untuk mengurangi biaya memori dan inferensi.
Penyempurnaan Efisien Parameter (PEFT)
Metode yang mengadaptasi model dengan melatih sebagian kecil parameter tambahan.

Pelajari lebih lanjut di panduan gratis kami

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis