概述
结果取决于算法和评估；进展并非每次迭代都能保证
深入探讨
自我对弈在不同领域有不同形式。AlphaGo Zero 和 AlphaZero 将自我对弈与蒙特卡罗树搜索以及棋盘游戏的策略/价值网络相结合；它们的论文分别报告了围棋、国际象棋和将棋的结果。SPIN 将自我对弈适用于语言模型微调：它从监督微调模型开始，生成早期迭代的回答，并针对人工标注的参考回答进行训练。SPIN 论文将该方法框定为在不为每次迭代获取额外人工标注数据的情况下进行改进，重用初始监督示例作为参考数据。前置检查点提供负样本，但并不能保证每次迭代都有提升。另一项研究《递归的诅咒》报告了当模型递归训练于生成数据时的模型崩溃；这一风险不应泛化到所有自我对弈方法。
现实世界的实施
AlphaGo Zero 论文结果：通过树搜索的自我对弈学习了无人工棋谱的围棋
AlphaZero 论文结果：自我对弈训练在国际象棋、将棋和围棋上均有演示
SPIN 论文方法：将人类参考回答与早期模型迭代生成的回答进行比较
示例：使用可靠的检查器在将其视为训练信号之前，客观评估可测试的数学或代码输出。
自玩微调的未来
在保留任务上评估自我对弈，并监控输出多样性和错误，随着合成数据累积。验证者可以在客观可检验领域提供帮助，但其覆盖率和错误率也应被测量。引用来源并未确立普遍收益或不可避免的失败。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录自玩微调在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
什么是自玩微调？
自我对弈方法通过比较模型输出与替代方案、先前模型输出或模拟游戏结果来创建训练信号。结果取决于算法和评估；进展并非每次迭代都能保证。
哪个著名的系统仅通过自我对弈而没有人类对局记录就达到了超人的围棋水平？
AlphaGo Zero 完全从与自己对战的游戏中学习，从随机游戏开始，并超越了之前在人类游戏中训练的版本。
在SPIN中，模型必须击败的“对手”扮演什么角色？
SPIN 将微调视为一种自博游戏，其中先前迭代的自生成输出作为模型学习超越的负数。
自对弈微调的主要数据效率优势是什么？
自我对弈会产生自己的训练信号，因此固定的监督集可以产生进一步的改进，而无需收集新的演示。
在SPIN的训练目标中，模型被推动做什么？
SPIN 使用 DPO 式损失，奖励将人类参考答案（正数）与模型早期自行生成的答案（负数）区分开来。
AlphaZero 论文在其围棋实验之外，还演示了哪两种游戏？
AlphaZero 将其自我对弈强化学习方法应用于国际象棋和将棋，除了围棋之外。这是论文报告的演示，而非对所有棋盘游戏的声明。