概述
缩放定律是经验公式，表明随着模型大小、数据集大小和计算的增加，神经网络的损失可预测地下降。它们很重要，因为它们让研究人员在花费数百万美元训练巨型模型之前预测性能。
神经网络的扩展定律位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。
深入探讨
Kaplan 及其同事在 OpenAI 的 2020 年论文中推广的缩放定律发现，测试损失按照平滑幂律在三个量上减少：参数计数 (N)、训练令牌 (D) 和总计算量 (C)。在双对数轴上绘制时，损失与每个因素的关系形成一条跨越多个数量级的几乎直线。这些关系的形式为 Loss ≈ a + b·X^(-c)，其中 X 是缩放因子。至关重要的是，最初的工作表明模型大小比数据更重要，从而引发了对更大模型（例如 GPT-3 的 1750 亿个参数）的竞赛。缩放定律将深度学习从猜测转变为可预测的工程学科，让团队可以通过小型、廉价的实验来预测大规模结果。
技术洞察
幂律形式意味着计算的每个固定乘法增加都会产生大致恒定的加法损失下降。损失以 nat 或每个交叉熵令牌的位数来衡量。由于指数 c 很小（通常在 0.05-0.1 左右），收益是真实的，但在递减：计算量加倍的帮助远远小于第一次加倍的帮助。重要的是，这些定律描述了不可约加可约损失，其中常数项捕获了任何模型都无法击败的数据的内在熵。
掌握神经网络的缩放定律
缩放定律是经验公式，表明随着模型大小、数据集大小和计算的增加，神经网络的损失可预测地下降。它们很重要，因为它们让研究人员在花费数百万美元训练巨型模型之前预测性能。神经网络的扩展定律位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。为了建立深入的理解，请将神经网络的扩展定律视为一种操作模型，而不是一个单一的功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用神经网络缩放定律的强大团队首先构建强大的概念模型，然后将这些模型映射到实际的生产约束。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
它可以帮助您将清晰的技术声明与营销语言分开。同时，不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
它可以帮助您将清晰的技术声明与营销语言分开。
它可以帮助您将清晰的技术声明与营销语言分开。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
在花费金钱或时间之前，您可以提出更好的实施问题。
在花费金钱或时间之前，您可以提出更好的实施问题。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
具有共同理解的团队可以做出更好的产品、政策和学习决策。
具有共同理解的团队可以做出更好的产品、政策和学习决策。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
在提交 GPU 预算之前，通过一系列小型 1 亿参数测试运行来预测计划的 700 亿参数模型的最终损失。
决定收集多少万亿个代币，以便固定的计算预算不会浪费在训练不足的模型上。
通过小规模拟合缩放曲线而不是全尺寸训练来比较两种架构。
通过将损失曲线推断到目标计算水平，为投资者或资助审核者设定现实的准确性预期。
实施模式
神经网络实践中的缩放定律
在提交 GPU 预算之前，通过一系列小型 1 亿参数测试运行来预测计划的 700 亿参数模型的最终损失。
在提交 GPU 预算之前，通过一系列小型 1 亿参数测试运行来预测计划的 700 亿参数模型的最终损失如果团队预先定义质量阈值，为边缘情况保留人工升级路径，并随着时间的推移跟踪生产力增益和错误成本，通常会获得更好的结果。
神经网络实践中的缩放定律
决定收集多少万亿个代币，以便固定的计算预算不会浪费在训练不足的模型上。
决定收集多少万亿个代币，以便固定的计算预算不会浪费在训练不足的模型上。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
神经网络实践中的缩放定律
通过小规模拟合缩放曲线而不是全尺寸训练来比较两种架构。
通过在小规模上拟合两种架构的缩放曲线而不是在全规模下进行培训来便宜地比较两种架构当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
神经网络实践中的缩放定律
通过将损失曲线推断到目标计算水平，为投资者或资助审核者设定现实的准确性预期。
通过将损失曲线外推到目标计算水平，为投资者或资助审核者设定现实的准确性预期当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
从您需要的结果的简单语言定义开始。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在测试之前选择一种成功指标和一种失败条件。
在测试之前选择一种成功指标和一种失败条件。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
使用代表性数据运行小型试点，而不是完善的演示集。
使用代表性数据运行小型试点，而不是完善的演示集。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
记录神经网络缩放定律在哪些方面有帮助以及在哪些方面更简单的方法更好。
记录神经网络缩放定律在哪些方面有帮助以及在哪些方面更简单的方法更好。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。