Diidmada Muunad-qaadista Fine-Tuning
Diidmada Sambalaynta Fine-Tuning (RFT) waxay soo saartaa jawaabo badan oo musharraxiin ah, waxay ilaalisaa kaliya kuwa ugu dhibcaha fiican, waxayna dib u tababartaa moodalka kuwa guuleystay.
Dulmar
It matters because it offers much of RLHF's benefit using straightforward supervised learning instead of complex reinforcement learning.
quusid qoto dheer
Diidmada Muunadaha Fine-Tuning, mararka qaarkood loogu yeero-daawaynta ugu wanaagsan-N, waa qayb muhiim ah oo ka mid ah sida moodooyinka sida Meta's Llama 2 iyo Llama 3 la isku toosiyay. Habkani waa mid fudud: degdeg kasta, muunad jawaabo dhawr ah (4 ilaa 64 dheh) moodeelka hadda jira, ku dhali mid walba qaab abaal-marin ah ama hubin toos ah, ka dibna iska tuur ('diid') dhammaan marka laga reebo natiijooyinka ugu sarreeya. Tijaabooyin tayo sare leh oo badbaaday ayaa noqda xog-hagaajin cusub oo la kormeerayo, qaabkana waxa lagu tababaray iyaga oo leh khasaare caadi ah oo xiga. Ku celcelinta wareeggan si isdaba joog ah ayay u nuuxnuuxsanaysaa tusaalaha xagga soo saarista jawaabo ka wanaagsan kaligiis. Sababtoo ah moodalku wuxuu wax ka bartaa wax soo saarkiisa la miiray, RFT waxay ka fogaataa xasillooni darrada iyo hagaajinta madax-xanuunnada siyaasadda-jilicsanaanta RL iyadoo weli ka faa'iidaysanaysa calaamadda abaal-marinta.
Aragtida Farsamada
RFT waxay ka faa'iidaysataa xaqiiqda ah in tijaabinta marar badan iyo ilaalinta jawaabta ugu sarraysa ee abaalgudka ah ee qiyaasaha laga soo qaado qaybinta tayadeedu sarreyso. Tababbarka kuwa guulaystey iyadoo la adeegsanayo heerka isdhaafsiga-entropy si wax ku ool ah ayaa u dejisa hab-dhaqankaas ugu wanaagsan ee N dib ugu soo noqoshada tusaalaha hal-muunada ah. Goobaha la xaqiijin karo sida xisaabta ama koodka, 'abaalmarinta' waxay si fudud u noqon kartaa haddii jawaabta u dambaysa ama tijaabada cutubku ay gudubto, taasoo meesha ka saaraysa baahida habka abaal-marin ee la bartay gabi ahaanba.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Diidmada Muunadaynta Fine-Tuning
RFT waxay udub dhexaad u tahay tababarka ka dambeeya casriga ah, oo inta badan la isticmaalo ka hor ama ay weheliyaan hababka RL sida PPO iyo DPO. Racfaankeedu wuxuu ku koraa faaqidaad raqiis ah iyo hubiyeyaal toos ah oo xoog leh: sida moodellada ay ugu fiicnaanayaan is-abuurista iyo is-hubinta, muunad diidmo ah oo soo noqnoqotay waxay taageertaa xogta-synthetic-data iyo is-hormarinta wareegyada. Filo is dhexgal adag oo leh moodooyin caqli-gal ah oo soo saara silsilado feker oo la xaqiijin karo, iyo daraasad joogto ah oo ku saabsan sida looga fogaado jabsiga abaal-marinta iyo burburka kala duwanaanshiyaha marka lagu tababaro si isdaba joog ah wax soo saarkiisa moodeelka.
Dhaqangelinta Adduunka-dhabta ah
Isku toosinta moodooyinka qaabka Llama iyadoo la muunadeynayo jawaabo badan isla markiiba, iyadoo la ilaalinayo buundooyinka moodeelka ugu sarreeya, ka dibna SFT kuwaa
Hagaajinta xaliye xisaabeed iyadoo la dhalinayo xalal badan lana hayo kaliya kuwa gaadha jawaabta saxda ah, ee la hubin karo
Jiilka code halka musharaxiinta lagu hayo kaliya haddii ay ka gudbaan imtixaanada cutubka, ka dibna loo isticmaalo xogta tababarka
Dhisidda xogta hab-raacyada hab-dhismeedka iyadoo la shaandheynayo moodalkiisa jawaabaha ugu wanaagsan ee iskiis u gaar ah ee wareegga tababarka xiga
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rejection Sampling Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
QLoRA iyo 4-Bit Fine-Tuning
Su'aalaha soo noqnoqda
What is Rejection Sampling Fine-Tuning?
Diidmada Sambalaynta Fine-Tuning (RFT) waxay soo saartaa jawaabo badan oo musharraxiin ah, waxay ilaalisaa kaliya kuwa ugu dhibcaha fiican, waxayna dib u tababartaa moodalka kuwa guuleystay. Waa muhiim sababtoo ah waxay bixisaa faa'iidooyin badan oo RLHF ah iyadoo la isticmaalayo barasho toos ah oo la kormeerayo halkii ay ka ahayd barashada xoojinta adag.
Waa maxay fikradda udub-dhexaadka ah ee Diidmada Muunad-bixinta Fine-Tuning?
RFT waxay muunaday jawaabo badan, shaandheeyayaasha kuwa ugu dhibcaha sarreeya, waxayna si fiican u habeeyaan moodalka guuleystayaashaas.
Goobaha la xaqiijin karo sida xisaabta ama koodka, maxaa u adeegi kara abaal-marin ahaan?
Hawlaha la hubin karo, RFT waxay isticmaali kartaa saxnaanta saxda ah ama imtixaanada cutubka gudbinta, iyada oo ka fogaanaysa qaabka abaalmarinta la bartay.
Qoyska noocee ah ayaa adeegsada muunad diidmo ah markii la isku toosinayo?
Meta ayaa lagu tilmaamay adeegsiga muunada diidmada taasoo qayb ka ah habka tababarka ka dib ee moodooyinka Llama 2 iyo Llama 3.
Maxay kooxuhu uga door bidi karaan RFT ka door bidaaya siyaasadda RL sida PPO?
RFT waxay dib ugu tababartaa luminta caadiga ah ee calaamada xigta ee muunado la sifeeyay, iyada oo dhinac maraysa dhibka hagaajinta iyo xasilooni darada hababka siyaasada
Tababarka ku saabsan muunadaha abaal-marinta ugu sarreeya si wax ku ool ah muxuu sameeyaa?
Marka aad wax ka barato jawaabaha la sifeeyay ee sare, qaabku waxa uu dhexgeliyaa hab-dhaqanka tayada sare leh ee hal jiil.