What is Parameter-Efficient Fine-Tuning (PEFT)? Definition | AI Understanding

Ufafanuzi

Njia za kurekebisha mifano kwa kufunza sehemu ndogo ya vigezo vilivyoongezwa.

Masharti yanayohusiana

Urekebishaji Mzuri

Kuendelea na mafunzo juu ya data mahususi ya kikoa ili kurekebisha muundo uliofunzwa mapema kwa kazi mahususi.

LoRA (Mabadiliko ya Kiwango cha Chini)

Mbinu ya usanifu mzuri wa kigezo ambayo huongeza matrices ya adapta ya kiwango cha chini.

Baada ya mafunzo

Hatua za mafunzo hutekelezwa baada ya kufanya mazoezi ya awali, kama vile kupanga maagizo, uboreshaji wa mapendeleo na urekebishaji wa usalama.

Urekebishaji wa Maelekezo

Kurekebisha muundo kwenye jozi za majibu-maelekezo ili kuboresha ufuatiliaji wa kazi.

Kiwango cha Kujifunza

Hyperparameta ya mafunzo inayodhibiti ni kiasi gani cha vigezo hubadilisha kila hatua ya sasisho.

DPO (Uboreshaji wa Upendeleo wa Moja kwa Moja)

Mbinu ya mafunzo ambayo hurekebisha muundo wa moja kwa moja kwenye jozi za mapendeleo bila kuhitaji muundo tofauti wa zawadi.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

Fine-Tuning Hard Parameter Sharing in Multi-Task Networks Gumbel-Softmax and Reparameterization Rejection Sampling Fine-Tuning

See also

Parameter Perplexity Overfitting Pipeline Open-Source Model Precision OCR (Optical Character Recognition)Pretraining

Vinjari Kamusi kamili ya AI Gundua miongozo yote ya bure ya AI