DETR 变压器检测
DETR（DEtection TRansformer）将目标检测重新定义为使用变压器解决的直接集合预测问题，消除了锚框和非极大值抑制等手工设计的步骤。
概述
这很重要，因为它为检测提供了一个干净的端到端管道，激发了基于 Transformer 的视觉模型的浪潮。
深入探讨
DETR 由 Facebook AI 于 2020 年推出，将 CNN 主干与 Transformer 编码器-解码器相结合。 CNN提取图像特征；编码器混合整个图像的全局上下文；解码器采用一组固定的学习“对象查询”，并将每个查询转换为检测到的对象（类加边界框）或“无对象”结果。关键的新颖之处在于二分匹配：在训练期间，匈牙利算法在预测和真实对象之间找到一对一的分配，因此模型学习直接为每个对象输出一个唯一的框。这消除了非极大值抑制和锚定调整。权衡是收敛速度慢和小物体精度较弱，Deformable DETR 等后续产品解决了这一问题。
技术洞察
DETR 的定义机制是匈牙利匹配的基于集合的损失。它不是对数千个锚框进行评分，而是发出固定数量的预测（通常是 100 个对象查询），并将它们与真实对象一对一匹配，惩罚匹配对上的分类和框错误，并将不匹配的查询推向“无对象”。由于匹配是一对一的，因此通过设计而不是通过单独的后处理步骤来抑制重复检测。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
DETR 变压器检测的未来
DETR 推出了全系列检测变压器。 Deformable DETR、DAB-DETR、DN-DETR 和 DINO 等变体极大地加快了训练速度并提高了准确性，其中 DINO 型模型达到了检测基准的最高水平。基于查询的端到端范例现在扩展到分段、跟踪和 3D 检测，并在此基础上构建开放词汇检测器。预计检测、分割和语言基础将继续融合到统一的转换器架构中，DETR 被认为是消除手工启发式方法的关键步骤。
现实世界的实施
在自动驾驶研究数据集中检测和装箱行人和车辆
当扩展到每像素掩模预测时，为全景分割提供动力
作为开放词汇和接地探测器的骨干架构
定位零售货架图像中的对象，无需调整每个数据集的锚点大小
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DETR Transformer Detection quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是 DETR 变压器检测？
DETR（DEtection TRansformer）将目标检测重新定义为使用变压器解决的直接集合预测问题，消除了锚框和非极大值抑制等手工设计的步骤。这很重要，因为它为检测提供了一个干净的端到端管道，激发了基于 Transformer 的视觉模型的浪潮。
与 Faster R-CNN 等传统检测器相比，DETR 去除了什么？
DETR 是端到端的，直接预测一组框，消除了锚点和非极大值抑制后处理步骤。
DETR 在训练期间使用哪种算法将预测与地面实况对象进行匹配？
DETR 使用匈牙利算法在预测和真实对象之间形成一对一的分配，以实现其集合损失。
DETR 的“对象查询”是什么？
对象查询是固定数量的学习向量；解码器将每个结果转换为对象预测或“无对象”结果。
DETR结合了什么整体架构？
DETR 将特征的卷积主干与用于集合预测的转换器编码器-解码器配对。
为什么DETR不需要非极大值抑制？
一对一匹配损失教会模型为每个对象发出单个预测，因此不需要重复删除后处理。