概述
它表明，尽管曲线取决于模型、数据和训练设置，但增加的模型复杂性并不总是会恶化测试性能。
深入探讨
经典统计学告诉我们一条 U 形曲线：随着模型复杂性的增加，测试误差下降，触底，然后随着模型过度拟合而上升。双下降法由 Belkin、Hsu、Ma 和 Mandal 在 2019 年推广，并由 OpenAI 进行了大规模研究，表明曲线有第二次下降。 Test error peaks near the interpolation threshold — the point where the model has just enough parameters to fit every training point exactly (zero training error).如果将其推入过度参数化的状态，测试误差可能会再次下降，有时甚至低于经典的最佳点。 OpenAI 报告了卷积神经网络、ResNets 和 Transformer 中的现象；形状和位置因实验而异。 Related double-descent behavior can also appear as training duration or dataset size changes, so it is not a guarantee that every larger model will improve.
现实世界的实施
研究当模型容量超过训练集拟合点时测试误差如何变化
测量特定设置的训练持续时间是否会导致测试误差出现第二次上升和下降
比较模型和数据集，其中增加训练集大小对插值有不同的影响
使用验证曲线来理解模型的行为，而不是假设较大的模型总是概括得更差
双下降现象的未来
研究继续将双下降与模型类、有效复杂性、隐式正则化和优化联系起来。 The phenomenon can guide experiments on model size and training duration, but it does not prescribe that practitioners should always train larger models or longer.目标数据和部署条件下的验证仍然是必要的。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录双下降现象在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
什么是双下降现象？
Double descent is an observed pattern in which test error can rise near the point where a model first interpolates the training data, then fall again as capacity increases.它表明，尽管曲线取决于模型、数据和训练设置，但增加的模型复杂性并不总是会恶化测试性能。
测试误差通常在双下降曲线的何处达到峰值？
在报道的双下降实验中，测试误差在插值阈值附近达到峰值，此时训练误差首先达到零；位置和形状取决于设置。
当模型严重过度参数化时，测试错误会发生什么情况？
在过度参数化的情况下，测试误差第二次下降，这是赋予双重下降名称的定义特征。
所引用的隐式偏差分析在哪种情况下表征最小范数解决方案？
对单隐层线性网络的具体分析证明了其梯度流和初始化假设下的最小范数结果；这并不是所有神经网络的普遍结果。
“时代明智”的双重血统是指作为什么函数出现的效应？
沿着训练时间轴可能会发生双重下降：随着训练持续更多的时期，测试误差可能会恶化然后改善。
双血统挑战了哪一个经典观念？
它与教科书 U 形曲线相矛盾，即超过某一点的复杂性总是会因过度拟合而增加测试误差。