概述
这很重要，因为它为检测提供了一个干净的端到端管道，激发了基于 Transformer 的视觉模型的浪潮。
深入探讨
DETR 由 Facebook AI 于 2020 年推出，将 CNN 主干与 Transformer 编码器-解码器相结合。 CNN提取图像特征；编码器混合整个图像的全局上下文；解码器采用一组固定的学习“对象查询”，并将每个查询转换为检测到的对象（类加边界框）或“无对象”结果。关键的新颖之处在于二分匹配：在训练期间，匈牙利算法在预测和真实对象之间找到一对一的分配，因此模型学习直接为每个对象输出一个唯一的框。这消除了非极大值抑制和锚定调整。权衡是收敛速度慢和小物体精度较弱，Deformable DETR 等后续产品解决了这一问题。
现实世界的实施
在自动驾驶研究数据集中检测和装箱行人和车辆
当扩展到每像素掩模预测时，为全景分割提供动力
作为开放词汇和接地探测器的骨干架构
定位零售货架图像中的对象，无需调整每个数据集的锚点大小
DETR 变压器检测的未来
DETR 推出了全系列检测变压器。 Deformable DETR、DAB-DETR、DN-DETR 和 DINO 等变体极大地加快了训练速度并提高了准确性，其中 DINO 型模型达到了检测基准的最高水平。基于查询的端到端范例现在扩展到分段、跟踪和 3D 检测，并在此基础上构建开放词汇检测器。预计检测、分割和语言基础将继续融合到统一的转换器架构中，DETR 被认为是消除手工启发式方法的关键步骤。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 DETR 变压器检测？
DETR（DEtection TRansformer）将目标检测重新定义为使用变压器解决的直接集合预测问题，消除了锚框和非极大值抑制等手工设计的步骤。这很重要，因为它为检测提供了一个干净的端到端管道，激发了基于 Transformer 的视觉模型的浪潮。
与 Faster R-CNN 等传统检测器相比，DETR 去除了什么？
DETR 是端到端的，直接预测一组框，消除了锚点和非极大值抑制后处理步骤。
DETR 在训练期间使用哪种算法将预测与地面实况对象进行匹配？
DETR 使用匈牙利算法在预测和真实对象之间形成一对一的分配，以实现其集合损失。
DETR 的“对象查询”是什么？
对象查询是固定数量的学习向量；解码器将每个结果转换为对象预测或“无对象”结果。
DETR结合了什么整体架构？
DETR 将特征的卷积主干与用于集合预测的转换器编码器-解码器配对。
DETR 的训练目标如何支持在没有单独 NMS 阶段的情况下进行推理？
学习目标鼓励为每个对象生成唯一的预测；这是一种设计和训练机制，而非绝对准确的保证。