龙猫缩放法则
DeepMind 于 2022 年推出的 Chinchilla 缩放法则表明，大多数大型语言模型都严重缺乏训练：对于固定的计算预算，您应该大致以相等的比例缩放模型大小和训练数据。
概述
It matters because it redefined what 'optimal' model size means and reshaped how labs spend compute.
深入探讨
在 Chinchilla 之前，趋势是构建更大的模型（如 175B 参数 GPT-3），同时使用相对少量的数据进行训练。 DeepMind 训练了 400 多个跨多种规模和数据预算的模型，然后拟合曲线，在固定计算 (FLOP) 预算下将损失预测为参数和令牌的函数。他们的发现：参数和训练标记应该一起缩放，大约是 1 比 1 的比例，这意味着每个参数大约有 20 个训练数据标记。为了证明这一点，他们在 1.4 万亿个代币上训练了 Chinchilla，这是一个 70B 参数模型，尽管使用相同的计算，但它的性能优于更大的 280B 参数 Gopher，因为它接受了更多数据的训练。
技术洞察
这些定律来自拟合参数损失函数 L(N, D)，其中 N 是参数，D 是标记，包括不可约损失、模型大小和数据大小项。在计算约束下最小化损失（计算大致与 N 乘以 D 成正比）会产生这样的结果：最优 N 和 D 都随着具有相似指数的计算幂而增长，因此计算最优比率保持在每个参数 20 个令牌附近。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
龙猫缩放法则的未来
Chinchilla 将这个领域从追逐参数计数转向为模型提供更高质量的数据，而现代模型的训练通常远远超过“计算最佳”点，以使推理成本更低。随着高质量的网络文本变得稀缺，人们的注意力开始转向数据管理、合成数据、多纪元和多模式数据，以保持规模化。核心教训是：数据和参数必须平衡，原始大小不再是目标。
现实世界的实施
DeepMind 的 70B 参数 Chinchilla 通过使用更多数据进行训练，在使用同等计算的基准测试中击败了 280B Gopher
指导团队在规划从头开始的模型时为每个参数预算大约 20 个训练令牌
证明 LLaMA 等更小、数据丰富的模型在推理时运行成本更低
估计计划的模型是否“训练不足”，并且从额外数据中获得的收益比从额外参数中获得的收益更多
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Scaling Laws quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Chinchilla Scaling Laws?
DeepMind 于 2022 年推出的 Chinchilla 缩放法则表明，大多数大型语言模型都严重缺乏训练：对于固定的计算预算，您应该大致以相等的比例缩放模型大小和训练数据。这很重要，因为它重新定义了“最佳”模型大小的含义，并重塑了实验室花费计算的方式。
龙猫缩放定律的中心发现是什么？
Chinchilla 表明，对于固定的计算预算，参数和训练令牌应该一起增长，大约是 1 比 1。
Chinchilla 建议每个参数大约有多少个训练标记是计算最佳的？
对于每个模型参数，计算最佳比率约为 20 个训练标记。
尽管龙猫体型小得多，但哪种型号的性能优于哪款？
70B 参数的 Chinchilla 使用相同的计算击败了 DeepMind 自己的 280B 参数的 Gopher，因为它训练的数据要多得多。
Chinchilla 当时对 GPT-3 这样的模型意味着什么？
那个时代的许多大型模型训练不足，这意味着如果参数计数有更多数据，它们会表现得更好。
Chinchilla 分析中的计算大致是如何进行的？
训练计算 (FLOP) 大约与参数数量乘以训练令牌数量成正比。