AI Gilosari Igba

Kí ni QLoRA?

Itumọ

Ilana atunṣe-itanran ti o ṣajọpọ titobi iwuwo 4-bit pẹlu awọn oluyipada LoRA lati dinku awọn iwulo iranti.

Ṣawakiri ni kikun AI GilosariṢawari gbogbo awọn itọsọna AI ọfẹ

Awọn ofin ti o jọmọ

LoRA (Imudara ipo-Kekere)Ọna atunṣe-daradara paramita ti o ṣafikun awọn matiri oluyipada ipo-kekere.IṣiroYiyipada awọn iwọn awoṣe si awọn ọna kika konge kekere bi 8-bit tabi 4-bit.Itanran-tuningIlọsiwaju ikẹkọ lori data-ašẹ kan pato lati ṣe atunṣe awoṣe ti a ti kọ tẹlẹ si iṣẹ-ṣiṣe kan pato.Ilana TuningṢiṣe atunṣe awoṣe daradara lori awọn orisii idahun-itọnisọna lati mu ilọsiwaju iṣẹ-ṣiṣe ti o tẹle.Awoṣe QuantizationDinku deedee nomba ti awọn iwọn awoṣe lati dinku iranti ati idiyele idiyele.Iṣatunṣe-Ṣiṣe-Tuning Fine daradara (PEFT)Awọn ọna ti o ṣe adaṣe awọn awoṣe nipasẹ ikẹkọ ipin kekere ti awọn aye ti a ṣafikun.

Kọ ẹkọ diẹ sii ninu awọn itọsọna ọfẹ wa

QLoRA and 4-Bit Fine-Tuning

Wo tun

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)