考试时培训
测试时训练 (TTT) 让模型在做出预测时继续从每个新输入中学习，而不是在训练后保持冻结状态。
概述
It is a powerful way to adapt to distribution shift and squeeze extra performance out of fixed models.
深入探讨
传统的机器学习将世界一分为二：训练，冻结权重，然后部署。测试时训练通过在预测之前对测试示例本身执行少量突发学习来挑战这一点。由于真实标签在测试时未知，因此 TTT 使用自监督辅助任务，例如预测旋转图像的方向或重建蒙版补丁，其损失可以在没有标签的情况下计算。在传入样本上优化该任务会推动共享表示以适应新数据，然后主脑做出预测。一个现代变体彻底颠覆了这个想法：TTT 层将其自己的隐藏状态视为一个微小的模型，该模型通过跨序列的梯度下降进行更新，为长上下文的注意力提供了一种可学习的替代方案。
技术洞察
在序列模型 TTT 层中，隐藏状态不是固定向量，而是内部模型的权重，每个标记在自监督重建损失上通过一个梯度步骤进行更新。这使得循环更新像注意力一样具有表达性，但序列长度呈线性，因为每个令牌都会触发快速内循环优化，而不是关注所有过去的令牌。外环训练学习这种内部学习应该如何表现。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
考试时培训的未来
TTT 正在获得越来越多的关注，因为它可以解决面对不断变化的现实世界数据的冻结模型的脆弱性，并且可以作为高效长上下文建模的架构原语，可以与 Transformer 相媲美而无需二次成本。预计将 TTT 层与注意力混合在一起的混合体，在条件不断变化的机器人和感知中更广泛的应用，以及关于动态适应如何与可靠性相互作用的安全研究，因为在推理时自我更新的模型也可能朝意想不到的方向漂移。
现实世界的实施
当部署照片与训练数据（新的照明、天气或相机）不同时，动态调整图像分类器
TTT 层作为 Transformer 的替代方案，可通过线性时间更新处理非常长的序列
在单个医院或实验室的独特数据上改进医学或科学模型，而无需进行全面的再培训
通过快速调整每个样本的表示来提高对损坏或噪声输入的鲁棒性
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录测试时培训在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Test-Time Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Test-Time Training?
测试时训练 (TTT) 让模型在做出预测时继续从每个新输入中学习，而不是在训练后保持冻结状态。这是适应分布变化并从固定模型中挤出额外性能的强大方法。
测试时培训与标准培训有何不同？
TTT 对传入的测试样本本身执行少量学习，而不是在训练阶段后冻结权重。
为什么经典 TTT 依赖于自我监督的辅助任务？
由于测试示例的真实标签未知，TTT 使用旋转预测或掩模重建等任务，其损失不需要标签。
在 TTT 序列层中，隐藏状态实际上变成了什么？
TTT 层将其隐藏状态视为内部模型，其权重通过每个标记上的梯度步骤进行更新。
与标准注意力相比，TTT 序列层具有哪些关键的效率优势？
通过对每个令牌进行快速内循环更新而不是关注所有先前的令牌，TTT 层实现了线性时间缩放。
TTT 特别适合解决哪个现实世界问题？
当测试条件（照明、传感器、域）与训练中看到的条件不同时，TTT 可以帮助冻结模型应对。