Ara-Play Fine-Tuning
Titun-ṣere ti ara ẹni ṣe ilọsiwaju awoṣe kan nipa jijẹ ki o dije lodi si tabi kọ ẹkọ lati awọn abajade ti ara rẹ ti o kọja, ti ipilẹṣẹ ifihan agbara ikẹkọ tirẹ.
Akopọ
It matters because it can push performance beyond the supervised data using little or no extra human labeling.
Jin Dive
Idaraya ti ara ẹni ni awọn gbongbo ti o jinlẹ ninu ere AI: AlphaGo Zero ati AlphaZero de ere ti o ju eniyan lọ ni mimọ nipasẹ ṣiṣere awọn miliọnu awọn ere si ara wọn, laisi awọn igbasilẹ ere eniyan. Ẹmi kan naa han ni bayi ni atunṣe-apẹrẹ-apẹrẹ ede. Ni SPIN (Self-Play fine-tuNing), awoṣe ti o wa lọwọlọwọ n ṣe awọn idahun si awọn itara, ati ikẹkọ titari awoṣe lati ṣe iyatọ awọn idahun ti ipilẹṣẹ ti ara rẹ lati awọn atilẹba ti a kọ eniyan, tọju ararẹ bi mejeeji ẹrọ orin ati alatako. Lori awọn aṣetunṣe ti o tẹle ni 'alatako' (oju-ọna ayẹwo iṣaaju) n ni okun sii, nitorinaa awoṣe gbọdọ tẹsiwaju ni ilọsiwaju, diėdiẹ tiipa aafo naa pẹlu pinpin ibi-afẹde. Afilọ nla ni ṣiṣe data: ipilẹ data ti o ni abojuto ti o wa titi le jẹ fun pọ fun awọn anfani diẹ sii laisi ikojọpọ awọn ifihan eniyan tuntun tabi awọn ayanfẹ.
Imọ-imọ-ẹrọ
Awọn fireemu SPIN ti o dara-tuntun bi ere elere meji pẹlu pipadanu ara DPO: awoṣe ti ni ikẹkọ lati fi o ṣeeṣe ti o ga julọ si awọn idahun itọkasi eniyan ju awọn ti o ṣẹda ti ara ẹni lati iṣaju iṣaaju. Nitori aaye ayẹwo ti tẹlẹ n pese awọn odi, iṣoro naa ṣe iwọn laifọwọyi bi awoṣe ṣe dara si. Ninu awọn ọna ṣiṣe ere, ere ti ara ẹni ni a so pọ pẹlu wiwa (fun apẹẹrẹ, MCTS) ati nẹtiwọọki iye kan, ti n ṣe agbekalẹ eto-ẹkọ ailopin ti awọn alatako lile ni ilọsiwaju laisi data ita.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Ara-Play Fine-Tuning
Idaraya-ara ẹni jẹ oludije oludari fun fifọ odi data, nitori o ṣe agbekalẹ eto-ẹkọ tirẹ ju da lori awọn aami eniyan ti o ṣọwọn. Reti idagbasoke ni awọn ibugbe ti o le rii daju bi iṣiro, koodu, ati imọ-jinlẹ ti n fihan, nibiti awọn oluṣayẹwo adaṣe ṣe ipele awọn igbiyanju ti ara ẹni ti ipilẹṣẹ. Awọn eewu pẹlu gige sakasaka ere ati idapọ awoṣe lati ikẹkọ lori iṣelọpọ sintetiki pupọ, nitorinaa awọn eto iwaju yoo ṣee ṣe adaṣe ere-ara-ẹni pẹlu awọn ifihan agbara ilẹ, awọn oludari, ati awọn esi eniyan igbakọọkan tabi awọn esi gidi-aye.
Real-World imuse
AlphaGo Zero ati AlphaZero de ọdọ Go, chess, ati shogi patapata nipasẹ ṣiṣere ti ara ẹni laisi awọn ere eniyan
SPIN n ṣe alekun awọn ikun ala ala LLM nipasẹ iyasọtọ iyasọtọ awọn abajade tirẹ lati awọn idahun itọkasi eniyan
Iṣiro ati awọn awoṣe ifaminsi ti n ṣe awọn igbiyanju ojutu, lẹhinna ikẹkọ lori awọn ti a rii daju nipasẹ awọn oluyẹwo laifọwọyi tabi awọn idanwo ẹyọkan
Idunadura ati awọn aṣoju ifọrọwerọ imudara ilana nipa ṣiṣere leralera awọn ẹgbẹ mejeeji ti ibaraẹnisọrọ si ara wọn
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Iṣere-ara-ara Fine-Tuning ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Play Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Itanran-tuning
Awọn ibeere ti a beere nigbagbogbo
What is Self-Play Fine-Tuning?
Titun-ṣere ti ara ẹni ṣe ilọsiwaju awoṣe kan nipa jijẹ ki o dije lodi si tabi kọ ẹkọ lati awọn abajade ti ara rẹ ti o kọja, ti ipilẹṣẹ ifihan agbara ikẹkọ tirẹ. O ṣe pataki nitori pe o le Titari iṣẹ kọja data ti a ṣe abojuto nipa lilo aami eniyan diẹ tabi ko si afikun.
Eto olokiki wo ni o de ere superhuman Go ni lilo ere ti ara ẹni nikan ko si awọn igbasilẹ ere eniyan?
AlphaGo Zero kọ ẹkọ patapata lati awọn ere ti o ṣe lodi si ararẹ, ti o bẹrẹ lati ere laileto ati ju awọn ẹya iṣaaju ti ikẹkọ lori awọn ere eniyan.
Ni SPIN, kini ipa ti 'alatako' ti awoṣe gbọdọ lu?
SPIN ṣe itọju iṣatunṣe daradara bi ere ere-ara-ẹni nibiti awọn abajade ti ara ẹni ti ipilẹṣẹ iṣaju iṣaju ṣiṣẹ bi awọn odi ti awoṣe kọ ẹkọ lati kọja.
Kini anfani-ṣiṣe data akọkọ ti ṣiṣe-ṣere ti ara ẹni daradara?
Idaraya ti ara ẹni n ṣe ifihan agbara ikẹkọ tirẹ, nitorinaa eto iṣakoso ti o wa titi le mu awọn ilọsiwaju siwaju laisi gbigba awọn ifihan tuntun.
Ninu ibi-afẹde ikẹkọ SPIN, kini awoṣe titari lati ṣe?
SPIN nlo ipadanu ara DPO ti o san iyatọ iyatọ awọn idahun itọkasi eniyan (awọn rere) lati awọn idahun ti ara ẹni ti ipilẹṣẹ tẹlẹ (awọn odi).
Kini idi ti iṣoro ni ṣiṣe-ṣere ti ara ẹni ti o dara-tuntun ṣe pọ si laifọwọyi lori awọn iterations?
Nitoripe awọn odi aṣetunṣe kọọkan wa lati awoṣe iṣaaju ti o lagbara sii, awoṣe dojukọ ipenija ni ilọsiwaju ni ilọsiwaju laisi apẹrẹ iwe-ẹkọ afọwọṣe.