Muda wa Kamusi ya AI

QLoRA ni nini?

Ufafanuzi

Mbinu ya kurekebisha vizuri ambayo inachanganya ujanibishaji wa uzani wa biti 4 na adapta za LoRA ili kupunguza mahitaji ya kumbukumbu.

Vinjari Kamusi kamili ya AIGundua miongozo yote ya bure ya AI

Masharti yanayohusiana

LoRA (Mabadiliko ya Kiwango cha Chini)Mbinu ya usanifu mzuri wa kigezo ambayo huongeza matrices ya adapta ya kiwango cha chini.UpimajiKubadilisha uzani wa modeli kuwa fomati za usahihi wa chini kama vile 8-bit au 4-bit.Urekebishaji MzuriKuendelea na mafunzo juu ya data mahususi ya kikoa ili kurekebisha muundo uliofunzwa mapema kwa kazi mahususi.Urekebishaji wa MaelekezoKurekebisha muundo kwenye jozi za majibu-maelekezo ili kuboresha ufuatiliaji wa kazi.Quantization ya MfanoKupunguza usahihi wa nambari za uzani wa mfano ili kupunguza kumbukumbu na gharama ya uelekezaji.Urekebishaji Uzuri wa Kigezo (PEFT)Njia za kurekebisha mifano kwa kufunza sehemu ndogo ya vigezo vilivyoongezwa.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

QLoRA and 4-Bit Fine-Tuning

Tazama pia

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)