Istilah Glosari AI

Apa itu QLoRA?

Definisi

Teknik penalaan halus yang menggabungkan pengkuantitian berat 4-bit dengan penyesuai LoRA untuk mengurangkan keperluan memori.

Istilah berkaitan

LoRA (Penyesuaian Peringkat Rendah)
Kaedah penalaan halus yang cekap parameter yang menambah matriks penyesuai peringkat rendah.
Kuantisasi
Menukar pemberat model kepada format ketepatan yang lebih rendah seperti 8-bit atau 4-bit.
Penalaan Halus
Meneruskan latihan tentang data khusus domain untuk menyesuaikan model pra-latihan kepada tugas tertentu.
Penalaan Arahan
Memperhalusi model pada pasangan arahan-tindak balas untuk menambah baik mengikut tugasan.
Kuantiti Model
Mengurangkan ketepatan berangka berat model untuk mengurangkan kos ingatan dan inferens.
Penalaan Halus Cekap Parameter (PEFT)
Kaedah yang menyesuaikan model dengan melatih subset kecil parameter tambahan.

Ketahui lebih lanjut dalam panduan percuma kami

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Semak imbas Glosari AI penuhTerokai semua panduan AI percuma