概述
这是一个简单的、无需训练的技巧，通常会挤出一些额外的准确度并使预测更加稳健。
深入探讨
测试时增强采用单个输入，创建多个转换副本（翻转、裁剪、旋转、颜色偏移或缩放版本），通过相同的固定模型运行每个副本，然后组合输出 - 通常通过平均概率或逻辑。直觉：每次增强都会将模型暴露在略有不同的视图中，并且各个视图上的错误在合并时往往会被消除，就像从一个网络构建的一个小型整体一样。至关重要的是，TTA 不需要再培训，也不需要额外的标签；它只会在推理时花费更多的计算量，因为模型每个样本运行 N 次。它在计算机视觉（尤其是 Kaggle 竞赛和医学成像）中最受欢迎，但也出现在音频和文本中。增强应该保留标签——翻转胸部X光片没问题，但将数字“6”翻转成“9”则不行。
现实世界的实施
对图像的水平翻转和多次裁剪进行平均预测，以提高推理时的 ImageNet 分类准确性。
在医学图像分割（例如肿瘤或器官边界）中反转旋转/翻转和平均掩模以获得更稳定的轮廓。
Kaggle 参赛者应用十种作物或多尺度 TTA，无需重新培训即可在排行榜上获得一小部分的份额。
在稍微时移或音高扰动的剪辑上运行语音或音频分类器，并汇集输出以获得更稳定的标签。
测试时间增强的未来
研究正在转向学习型和自适应 TTA，其中一个小策略会选择哪些增强对每个特定输入有帮助，而不是应用固定的集合。 “贪婪”和可微的 TTA 策略搜索，加上更信任自信观点的不确定性加权平均，是活跃的领域。期望 TTA 能够与测试时训练和自我监督适应相结合，让部署的模型动态适应分布变化，同时保持有吸引力的无需重新训练的特性。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是测试时间增强？
测试时间增强 (TTA) 对同一输入的多个更改版本运行经过训练的模型，并对预测进行平均。这是一个简单的、无需训练的技巧，通常会挤出一些额外的准确度并使预测更加稳健。
在推理时，测试时增强对单个输入有何作用？
TTA 通过同一经过训练的模型提供一个输入的多个增强版本，并聚合预测，无需重新训练。
何时通过对转换后的视图进行预测汇聚可以减少预测方差？
集成直觉依赖于有用且能保持标签的视图，且它们的错误不完全相关。
使用TTA的主要成本是什么？
由于每个输入都会通过网络 N 次，因此推理的成本大约会增加 N 倍。
哪种增强选择实际上会损害数字分类器？
增强必须保留真实的标签；翻转某些数字会改变它们的身份并注入偏见。
在分割中，在平均 TTA 输出之前需要什么额外步骤？
几何增强会移动像素，因此每个输出掩模必须在池化之前转换回原始坐标系。