概述
这是特定数据和训练条件下的研究结果，并不能证明每次使用合成数据都会失败。
主要要点
- 陈述递归训练条件。
- 保留出处和独立评估。
- 检查罕见案例和多样性。
深入探讨
生成器近似其训练分布中的模式。如果后来的模型主要基于该近似值的样本进行训练，则错误和丢失的罕见情况可能会传播。重复这个过程可以缩小模型所代表的范围。 2024 年《自然》研究调查了几个模型家庭的这种行为。训练设置很重要。用生成的输出替换原始数据不同于保留独立收集的数据同时添加选定的合成示例。过滤、抽样、目标和评估都会影响结果。避免将所有合成数据策略视为一项实验。记录培训材料的出处和生成过程。保留一个独立来源的评估集，该评估集不会由正在评估的模型重新生成。衡量稀有类别和多样性以及常见情况的准确性，因为覆盖范围的损失可能会被平均值隐藏。在测试合成增强时，请在相同预算下比较真实数据基线、建议的混合物和相关替代方案。报告哪些情况有所改善或恶化。有用的结论描述了测试的设置和不确定性，而不是预测所有人工智能系统不可避免的命运。
04工作示例
追踪消失的类别
构建一个包含 90 个常见模式示例和 10 个罕见模式示例的玩具数据集。
假设生成器在接下来的 100 个样本中仅生成两个罕见模式示例。仅针对这些输出进行训练会改变所代表的平衡。
在重复循环之前，根据原始保留数据测量罕见模式性能。
它显示了什么
这个发明的场景说明了一种可能的机制，而不是所引用研究的定量结果。
现实世界的实施
跟踪稀有类别是否在重复的数据生成周期中消失。
将合成增强与保留原始数据的基线进行比较。
付诸实践
为什么这很重要
- 风险与安全. 灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
- 更清晰的判决. 公众和专业素养决定强有力的安全政策在政治上是否可行。
- 打破炒作. 清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
留意
- 将存在风险视为科幻小说，同时能力复合。
- 混淆了表面产品安全与高度自治下的对准。
- 只给非英语和非专业观众留下低质量的资源。
后续步骤
- 单独的产品危害、误用和失控/失调风险。
- 询问哪些证据会改变您对时间表和严重性的看法。
- 比起营销主张，更喜欢主要来源和具体评估。
- 确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
资料来源与延伸阅读
- Shumailov and colleagues, Nature当对递归生成的数据进行训练时，人工智能模型会崩溃
不断探索
常见问题
模型崩溃是否意味着合成数据总是有害的？
不会。结果取决于数据混合、生成和过滤过程、训练设置和评估。直接测试建议的用途。