Istilah Glosarium AI

Apa itu QLoRA?

Definisi

Teknik penyempurnaan yang menggabungkan kuantisasi bobot 4-bit dengan adaptor LoRA untuk mengurangi kebutuhan memori.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

LoRA (Adaptasi Tingkat Rendah)Metode penyesuaian parameter yang efisien yang menambahkan matriks adaptor peringkat rendah.KuantisasiMengonversi bobot model ke format presisi lebih rendah seperti 8-bit atau 4-bit.PenyempurnaanMelanjutkan pelatihan pada data spesifik domain untuk mengadaptasi model yang telah dilatih sebelumnya ke tugas tertentu.Penyetelan InstruksiMenyempurnakan model pasangan instruksi-respons untuk meningkatkan kemampuan mengikuti tugas.Kuantisasi ModelMengurangi presisi numerik bobot model untuk mengurangi biaya memori dan inferensi.Penyempurnaan Efisien Parameter (PEFT)Metode yang mengadaptasi model dengan melatih sebagian kecil parameter tambahan.

Pelajari lebih lanjut di panduan gratis kami

QLoRA and 4-Bit Fine-Tuning

Lihat juga

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)