Muda wa Kamusi ya AI

Ni nini QLoRA?

Ufafanuzi

Mbinu ya kurekebisha vizuri ambayo inachanganya ujanibishaji wa uzani wa biti 4 na adapta za LoRA ili kupunguza mahitaji ya kumbukumbu.

Masharti yanayohusiana

LoRA (Mabadiliko ya Kiwango cha Chini)
Mbinu ya usanifu mzuri wa kigezo ambayo huongeza matrices ya adapta ya kiwango cha chini.
Quantization
Kubadilisha uzani wa modeli kuwa fomati za usahihi wa chini kama vile 8-bit au 4-bit.
Urekebishaji Mzuri
Kuendelea na mafunzo juu ya data mahususi ya kikoa ili kurekebisha muundo uliofunzwa mapema kwa kazi mahususi.
Urekebishaji wa Maelekezo
Kurekebisha muundo kwenye jozi za majibu-maelekezo ili kuboresha ufuatiliaji wa kazi.
Quantization ya Mfano
Kupunguza usahihi wa nambari za uzani wa mfano ili kupunguza kumbukumbu na gharama ya uelekezaji.
Urekebishaji Uzuri wa Kigezo (PEFT)
Njia za kurekebisha mifano kwa kufunza sehemu ndogo ya vigezo vilivyoongezwa.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Vinjari Kamusi kamili ya AIGundua miongozo yote ya bure ya AI