概述
这是一种简单而强大的方式，可以利用大量未标注的数据。
深入探讨
自我训练是最古老的半监督思想之一。您首先在有限的标记数据上训练教师模型。然后，教师预测大量未标记示例的标签；高置信度的预测变成伪标签。学生模型接受真实标签和伪标签的结合训练，通常表现优于教师。置信度阈值很重要：仅保留高于概率截止值的预测，因此模型不会因其自身的不确定猜测而受到破坏。现代变体将伪标签与一致性正则化结合起来。例如，FixMatch 从弱增强图像生成伪标签，并训练模型以在强增强版本上匹配它，但前提是弱预测有信心。 Noisy Student 在 ImageNet 上扩展了这个想法，方法是让学生变大并在训练过程中添加噪声（丢失、增强）。
现实世界的实施
通过使用种子模型转录数千小时的未标记音频来训练语音识别系统，然后对可信转录本进行重新训练。
Google 的 Noisy Student 通过与教师一起迭代标记未标记的图像并训练更大的噪声学生来提高 ImageNet 的准确性。
使用经过数百个专家标记病例训练的模型来标记大量未注释的医学扫描，以扩展训练集。
通过对数百万个高于置信阈值的未标记文档进行伪标记，引导针对特定领域的文本分类器。
伪标签和自我训练的未来
伪标签仍然是标签高效学习的核心，并且越来越多地成为大型模型训练管道的核心，其中强大的模型生成合成标签甚至合成数据来训练更小或更新的模型，这是一种蒸馏形式。期望与主动学习（决定人类应该标记哪些示例）更紧密地集成，更好的不确定性估计来过滤伪标签，并继续在语音识别、医学成像以及任何未标记数据数量远远超过标记数据的领域中使用。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是伪标签和自我训练？
伪标记是一种半监督技术，其中在小型标记集上训练的模型为未标记的数据生成自己的标签，然后对这些预测进行训练。这是一种利用大量未标记数据的简单而强大的方法。
How does a basic self-training loop use unlabeled examples?
The guide describes generating pseudo-labels and training with labeled and selected unlabeled examples.
Why apply a confidence threshold to pseudo-labels?
The guide says high-confidence predictions are retained to reduce contamination from uncertain guesses.
What is confirmation bias in pseudo-labeling?
The guide warns that a model’s errors may be reinforced by its generated labels.
In FixMatch, where does the pseudo-label come from?
FixMatch uses a confident prediction from a weak augmentation to train on a strong augmentation.
What is the student-noise idea in Noisy Student?
The guide describes adding noise during student training to encourage generalization.