LegközelebbKövetkező útmutató
Finomhangolás
Műszaki
Alapok ÚTMUTATÓ
Self-play methods create training signals by comparing a model’s outputs with alternatives, prior model outputs, or outcomes from simulated games.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Results depend on the algorithm and evaluation; progress is not guaranteed at every iteration.
Self-play has different forms across domains. AlphaGo Zero and AlphaZero combine self-play with Monte Carlo tree search and policy/value networks for board games; their papers report results on Go, chess, and shogi respectively. SPIN adapts self-play to language-model fine-tuning: it starts from a supervised fine-tuned model, generates responses from earlier iterations, and trains against human-annotated reference responses. The SPIN paper frames the method as improving without acquiring additional human-annotated data for each iteration, reusing the initial supervised examples as reference data. The preceding checkpoint supplies negatives, but it does not guarantee improvement at every iteration. A separate study, “The Curse of Recursion,” reports model collapse when models are recursively trained on generated data; that risk should not be generalized to every self-play method.
AlphaGo Zero paper result: self-play with tree search learned Go without human game records.
AlphaZero paper result: self-play training was demonstrated on chess and shogi as well as Go.
SPIN paper method: compare human-reference responses with self-generated responses from earlier model iterations.
Illustrative: use a reliable checker to evaluate objectively testable math or code output before considering it as a training signal.
Evaluate self-play on held-out tasks and monitor output diversity and errors as synthetic data accumulates. Verifiers can help in objectively checkable domains, but their coverage and error rates should also be measured. The cited sources do not establish universal benefits or inevitable failure.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Self-play methods create training signals by comparing a model’s outputs with alternatives, prior model outputs, or outcomes from simulated games. Results depend on the algorithm and evaluation; progress is not guaranteed at every iteration.
Az AlphaGo Zero teljes egészében azokból a játékokból tanult, amelyeket önmaga ellen játszott, kezdve a véletlenszerű játékból, és felülmúlta az emberi játékokra kiképzett korábbi verziókat.
A SPIN a finomhangolást önálló játékként kezeli, ahol az előző iteráció saját maga által generált kimenetei szolgálnak negatívumként, amelyet a modell megtanul felülmúlni.
A Self-play saját edzésjelet állít elő, így egy rögzített felügyelt készlet további fejlesztéseket eredményezhet anélkül, hogy újabb bemutatókat gyűjtene.
A SPIN DPO-stílusú veszteséget használ, amely jutalmazza az emberi referenciaválaszok (pozitívok) megkülönböztetését a modell korábbi saját maga által generált válaszaitól (negatívak).
AlphaZero applied its self-play reinforcement-learning approach to chess and shogi, in addition to Go. This is a paper-reported demonstration, not a claim about every board game.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Finomhangolás
Műszaki