What is Parameter-Efficient Fine-Tuning (PEFT)? Definition | AI Understanding

Itumọ

Awọn ọna ti o ṣe adaṣe awọn awoṣe nipasẹ ikẹkọ ipin kekere ti awọn aye ti a ṣafikun.

Awọn ofin ti o jọmọ

Ilọsiwaju ikẹkọ lori data-ašẹ kan pato lati ṣe atunṣe awoṣe ti a ti kọ tẹlẹ si iṣẹ-ṣiṣe kan pato.

LoRA (Imudara ipo-Kekere)

Ọna atunṣe-daradara paramita ti o ṣafikun awọn matiri oluyipada ipo-kekere.

Lẹhin ikẹkọ

Awọn igbesẹ ikẹkọ ti a lo lẹhin ikẹkọ iṣaaju, gẹgẹbi yiyi itọnisọna, iṣapeye ayanfẹ, ati iṣatunṣe ailewu.

Ṣiṣe atunṣe awoṣe daradara lori awọn orisii idahun-itọnisọna lati mu ilọsiwaju iṣẹ-ṣiṣe ti o tẹle.

Oṣuwọn ẹkọ

Hyperparameter ikẹkọ ti n ṣakoso iye awọn paramita ṣe iyipada igbesẹ imudojuiwọn kọọkan.

DPO (Imudara Iyanfẹ Taara)

Ọna ikẹkọ ti o ṣe atunṣe awọn awoṣe taara taara lori awọn orisii ayanfẹ laisi nilo awoṣe ere lọtọ.

Kọ ẹkọ diẹ sii ninu awọn itọsọna ọfẹ wa

Fine-Tuning Hard Parameter Sharing in Multi-Task Networks Gumbel-Softmax and Reparameterization Rejection Sampling Fine-Tuning

Wo tun

Parameter Perplexity Overfitting Pipeline Open-Source Model Precision OCR (Optical Character Recognition)Pretraining

Ṣawakiri ni kikun AI Gilosari Ṣawari gbogbo awọn itọsọna AI ọfẹ