ビジュアルAIガイド
DETR 変圧器の検出
DETR (DEtection TRansformer) は、オブジェクト検出をトランスフォーマーで解決される直接のセット予測問題として再構成し、アンカー ボックスや非最大抑制などの手作業で設計されたステップを削除します。
このガイドを聴くAIによるナレーション · ~2 min
概要
これが重要なのは、トランスベースのビジョン モデルの波に影響を与えた、クリーンなエンドツーエンドの検出パイプラインを提供するためです。
ディープダイブ
2020 年に Facebook AI によって導入された DETR は、CNN バックボーンとトランスフォーマー エンコーダー/デコーダーを組み合わせたものです。 CNN は画像の特徴を抽出します。エンコーダは画像全体にわたってグローバル コンテキストを混合します。デコーダは学習された「オブジェクト クエリ」の固定セットを取得し、それぞれを検出されたオブジェクト (クラスとバウンディング ボックス) または「オブジェクトなし」の結果に変換します。重要な新しさは二部マッチングです。トレーニング中にハンガリーのアルゴリズムが予測とグラウンドトゥルース オブジェクト間の 1 対 1 の割り当てを見つけるため、モデルはオブジェクトごとに一意のボックスを直接出力することを学習します。これにより、最大以外の抑制やアンカー調整が不要になります。トレードオフは、収束が遅く、小さなオブジェクトの精度が低いことでしたが、これは変形可能な DETR などのフォローアップで解決されました。
現実世界の実装
自動運転研究データセットにおける歩行者と車両の検出とボックス化
ピクセルごとのマスク予測に拡張した場合のパノプティック セグメンテーションの強化
オープンボキャブラリーとグラウンディング検出器のバックボーンアーキテクチャとして機能
データセットごとにアンカー サイズを調整せずに、小売店の棚画像内のオブジェクトを特定する
DETR 変圧器検出の将来
DETR は検出変圧器のファミリー全体を発売しました。 Deformable DETR、DAB-DETR、DN-DETR、DINO などのバリアントにより、トレーニングが劇的に高速化され、精度が向上し、DINO スタイルのモデルは検出ベンチマークのトップに達しました。クエリベースのエンドツーエンドのパラダイムは現在、セグメンテーション、トラッキング、3D 検出まで拡張されており、オープン語彙検出器はこれに基づいて構築されています。 DETR は手作りのヒューリスティックを排除する極めて重要なステップとして記憶されており、検出、セグメンテーション、および言語基盤が統合トランスフォーマー アーキテクチャに継続的に収束することが期待されます。
実践する
なぜそれが重要なのか
- 速度とスケール. Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
- ビルドの選択. クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
- チームとワークフロー. 以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
気をつけてください
- 出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
- モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
- 信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
次のステップ
- 精度、再現率、エラーコストの許容基準を定義します。
- 実際の生産条件に一致するデータを使用してテストします。
- 信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
- モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
よくある質問
DETR 変圧器検出とは何ですか?
DETR (DEtection TRansformer) は、オブジェクト検出をトランスフォーマーで解決される直接のセット予測問題として再構成し、アンカー ボックスや非最大抑制などの手作業で設計されたステップを削除します。これが重要なのは、トランスベースのビジョン モデルの波に影響を与えた、クリーンなエンドツーエンドの検出パイプラインを提供するためです。
Faster R-CNN などの従来の検出器と比較して、DETR は何を除去しますか?
DETR はエンドツーエンドで、一連のボックスを直接予測し、アンカーと非最大抑制の後処理ステップを排除します。
DETR は、トレーニング中に予測をグラウンドトゥルース オブジェクトと照合するためにどのアルゴリズムを使用しますか?
DETR は、ハンガリーのアルゴリズムを使用して、設定された損失に対する予測とグラウンドトゥルース オブジェクトの間の 1 対 1 の割り当てを形成します。
DETR の「オブジェクト クエリ」とは何ですか?
オブジェクト クエリは、固定数の学習されたベクトルです。デコーダはそれぞれをオブジェクト予測または「オブジェクトなし」結果に変換します。
DETR は全体的にどのようなアーキテクチャを組み合わせていますか?
DETR は、セット予測のために、特徴の畳み込みバックボーンとトランスフォーマー エンコーダー/デコーダーを組み合わせます。
How does DETR's training objective support inference without a separate NMS stage?
The learning objective encourages a unique prediction per object; this is a design and training mechanism rather than an infallibility guarantee.