AI Gilosari Igba

Kini QLoRA?

Itumọ

Ilana atunṣe-itanran ti o ṣajọpọ titobi iwuwo 4-bit pẹlu awọn oluyipada LoRA lati dinku awọn iwulo iranti.

Awọn ofin ti o jọmọ

LoRA (Imudara ipo-Kekere)
Ọna atunṣe-daradara paramita ti o ṣafikun awọn matiri oluyipada ipo-kekere.
Iṣiro
Yiyipada awọn iwọn awoṣe si awọn ọna kika konge kekere bi 8-bit tabi 4-bit.
Itanran-tuning
Ilọsiwaju ikẹkọ lori data-ašẹ kan pato lati ṣe atunṣe awoṣe ti a ti kọ tẹlẹ si iṣẹ-ṣiṣe kan pato.
Ilana Tuning
Ṣiṣe atunṣe awoṣe daradara lori awọn orisii idahun-itọnisọna lati mu ilọsiwaju iṣẹ-ṣiṣe ti o tẹle.
Awoṣe Quantization
Dinku deedee nomba ti awọn iwọn awoṣe lati dinku iranti ati idiyele idiyele.
Iṣatunṣe-Ṣiṣe-Tuning Fine daradara (PEFT)
Awọn ọna ti o ṣe adaṣe awọn awoṣe nipasẹ ikẹkọ ipin kekere ti awọn aye ti a ṣafikun.

Kọ ẹkọ diẹ sii ninu awọn itọsọna ọfẹ wa

QLoRA and 4-Bit Fine-Tuning

Wo tun

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Ṣawakiri ni kikun AI GilosariṢawari gbogbo awọn itọsọna AI ọfẹ