Ijusile iṣapẹẹrẹ Fine-Tuning
Ijusilẹ Iṣayẹwo Fine-Tuning (RFT) n ṣe ọpọlọpọ awọn idahun oludije, ntọju awọn igbelewọn ti o dara julọ nikan, ati tun ṣe atunṣe awoṣe lori awọn bori wọnyẹn.
Akopọ
O ṣe pataki nitori pe o funni ni anfani pupọ ti RLHF ni lilo ẹkọ abojuto taara taara dipo ikẹkọ imuduro eka.
Jin Dive
Ijusilẹ Iṣayẹwo Fine-Tuning, nigba miiran ti a npe ni titọ-ti o dara julọ-ti-N itanran-tuning, jẹ eroja pataki kan ninu bii awọn awoṣe bii Meta's Llama 2 ati Llama 3 ṣe ni ibamu. Ohunelo naa rọrun: fun itọka kọọkan, ṣapejuwe ọpọlọpọ awọn idahun (sọ 4 si 64) lati awoṣe lọwọlọwọ, ṣe Dimegilio ọkọọkan pẹlu awoṣe ẹsan tabi oluṣayẹwo adaṣe, lẹhinna jabọ ('kọ') gbogbo ṣugbọn awọn abajade ti o ga julọ. Awọn ayẹwo didara giga ti o yege di dataset titun ti o ni abojuto daradara, ati pe awoṣe ti ni ikẹkọ lori wọn pẹlu ipadanu atẹle-àmi lasan. Tunṣe lupu yii leralera jẹ apẹrẹ awoṣe si jiṣẹ awọn idahun to dara julọ lori tirẹ. Nitoripe awoṣe naa kọ ẹkọ lati awọn abajade ti ara ẹni ti ara rẹ, RFT yago fun aisedeede ati awọn efori yiyi ti eto imulo-gradient RL lakoko ti o tun n lo ami ifihan ere kan.
Imọ-imọ-ẹrọ
RFT nilokulo otitọ pe iṣapẹẹrẹ ni ọpọlọpọ igba ati titọju idahun ere ti o pọju ni isunmọ yiyan lati didasilẹ, pinpin didara to ga julọ. Ikẹkọ lori awọn olubori wọnyẹn nipasẹ boṣewa agbelebu-entropy ni imunadoko ni imunadoko ihuwasi-ti-N ti o dara julọ pada si awọn abajade apẹẹrẹ-ọkan ti awoṣe. Fun awọn ibugbe ti o le rii daju bi iṣiro tabi koodu, 'ẹsan' le rọrun jẹ boya idahun ikẹhin tabi idanwo ẹyọkan kọja, yiyọ iwulo fun awoṣe ẹsan ikẹkọ patapata.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti ijusile iṣapẹẹrẹ Fine-Tuning
RFT jẹ aringbungbun si ikẹkọ lẹhin-igbalode, nigbagbogbo lo ṣaaju tabi lẹgbẹẹ awọn ọna RL bii PPO ati DPO. Itẹlọlọ rẹ dagba pẹlu itọsi olowo poku ati awọn oludaniloju adaṣe adaṣe to lagbara: bi awọn awoṣe ṣe dara julọ ni ti ipilẹṣẹ ati ṣiṣe ayẹwo ara-ẹni, iṣapẹẹrẹ ijusile tun ṣe atilẹyin data sintetiki ati awọn losiwajulosehin ara-ẹni. Reti isọdọkan wiwọ pẹlu awọn awoṣe ero ti o gbejade awọn ẹwọn ironu ti o daju, ati ikẹkọ ti nlọ lọwọ bi o ṣe le yago fun gige sakasaka ere ati iṣubu oniruuru nigbati ikẹkọ leralera lori awọn abajade ti ara awoṣe.
Real-World imuse
Ṣiṣe deede awọn awoṣe ara Llama nipasẹ iṣapẹẹrẹ awọn idahun lọpọlọpọ fun itọsi, titọju awọn ikun ere-ere ti o ga julọ, lẹhinna SFT lori iyẹn
Imudarasi olutayo isiro nipa ti ipilẹṣẹ ọpọlọpọ awọn solusan ati idaduro awọn nikan ti o de idahun ti o pe, ti o ṣee ṣayẹwo
Iran koodu nibiti awọn oludije ti wa ni ipamọ nikan ti wọn ba kọja awọn idanwo ẹyọkan, lẹhinna lo bi data ikẹkọ
Ṣiṣe awọn ipilẹ data ilana sintetiki nipasẹ sisẹ awoṣe ti ara awọn idahun ti o dara julọ ti ara ẹni fun iyipo ikẹkọ atẹle
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rejection Sampling Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
QLoRA ati 4-Bit Fine-Tuning
Awọn ibeere ti a beere nigbagbogbo
Kini Ijusilẹ Iṣayẹwo Fine-Tuning?
Ijusilẹ Iṣayẹwo Fine-Tuning (RFT) n ṣe ọpọlọpọ awọn idahun oludije, ntọju awọn igbelewọn ti o dara julọ nikan, ati tun ṣe atunṣe awoṣe lori awọn bori wọnyẹn. O ṣe pataki nitori pe o funni ni anfani pupọ ti RLHF ni lilo ẹkọ abojuto taara taara dipo ikẹkọ imuduro eka.
Kini ero pataki ti Ijusilẹ Iṣayẹwo Fine-Tuning?
RFT ṣe ayẹwo awọn idahun lọpọlọpọ, awọn asẹ si awọn ti o ni igbelewọn oke, ati pe o dara-tunse awoṣe lori awọn bori wọnyẹn.
Ni awọn ibugbe ti o le rii daju bi iṣiro tabi koodu, kini o le ṣiṣẹ bi ẹsan naa?
Fun awọn iṣẹ ṣiṣe ayẹwo, RFT le lo atunṣe deede tabi awọn idanwo ẹyọkan kọja, yago fun awoṣe ere ti o kọ ẹkọ.
Ebi awoṣe wo ni olokiki lo iṣapẹẹrẹ ijusile lakoko titete?
Meta ṣe apejuwe lilo iṣapẹẹrẹ ijusile gẹgẹbi apakan ti ilana ikẹkọ lẹhin-ikẹkọ fun awọn awoṣe Llama 2 ati Llama 3.
Kini idi ti awọn ẹgbẹ le fẹ RFT ju ilana-ilọsiwaju RL bii PPO?
RFT ṣe atunṣe pẹlu idiwọn isonu atẹle-ami lori awọn ayẹwo ti a ti yo, titọpa iṣoro iṣatunṣe ati aisedeede ti awọn ọna imudọgba eto imulo.
Ikẹkọ lori awọn ayẹwo ere ti o pọju ṣe kini?
Nipa kikọ ẹkọ lati awọn idahun ti a yan ni oke, awoṣe ṣe inu ihuwasi didara ti o ga julọ ni iran kan.