DalšíDalší průvodce
Obnova transformátoru SwinIR
Vizuální AI
Vizuální průvodce AI
DETR (DEtection TRansformer) přetváří detekci objektů jako problém s přímou predikcí množin řešený pomocí transformátoru, odstraňuje ručně navržené kroky, jako jsou kotevní boxy a nemaximální potlačení.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It matters because it gave detection a clean, end-to-end pipeline that inspired a wave of transformer-based vision models.
DETR, představený Facebook AI v roce 2020, kombinuje CNN páteř s transformátorovým kodérem-dekodérem. CNN extrahuje obrazové prvky; kodér míchá globální kontext v celém obrazu; a dekodér vezme pevnou sadu naučených „dotazů na objekt“ a přemění každý buď na detekovaný objekt (třída plus ohraničující rámeček), nebo na výsledek „žádný objekt“. Klíčovou novinkou je bipartitní párování: během trénování maďarský algoritmus najde přiřazení jedna ku jedné mezi predikcemi a pozemními pravdivými objekty, takže se model naučí vydávat přímo jedinečný box na objekt. To eliminuje nemaximální potlačení a ladění kotvy. Kompromisem byla pomalá konvergence a slabší přesnost malých objektů, což řešily následné kroky jako Deformable DETR.
Detekce a boxování chodců a vozidel ve výzkumných datových souborech autonomního řízení
Posílení panoptické segmentace při rozšíření na predikci masky na pixel
Slouží jako páteřní architektura pro detektory s otevřeným slovníkem a uzemnění
Vyhledání objektů v obrazech maloobchodních regálů bez ladění velikostí ukotvení podle datové sady
Společnost DETR uvedla na trh celou rodinu detekčních transformátorů. Varianty jako Deformable DETR, DAB-DETR, DN-DETR a DINO dramaticky zrychlily trénink a zlepšily přesnost, přičemž modely ve stylu DINO dosáhly vrcholu detekčních měřítek. Kompletní paradigma založené na dotazech se nyní rozšiřuje na segmentaci, sledování a 3D detekci a na něm staví detektory otevřeného slovníku. Očekávejte pokračující sbližování detekce, segmentace a jazykového zakotvení do sjednocených architektur transformátorů, přičemž DETR je pamatováno jako klíčový krok, který odstranil ručně vytvořenou heuristiku.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
DETR (DEtection TRansformer) přetváří detekci objektů jako problém s přímou predikcí množin řešený pomocí transformátoru, odstraňuje ručně navržené kroky, jako jsou kotevní boxy a nemaximální potlačení. Záleží na tom, protože to poskytlo detekci čisté, end-to-end potrubí, které inspirovalo vlnu modelů vidění založených na transformátorech.
DETR je end-to-end a předpovídá sadu boxů přímo, eliminuje kotvy a nemaximální potlačovací krok následného zpracování.
DETR používá maďarský algoritmus k vytvoření přiřazení jedna ku jedné mezi predikcemi a objekty základní pravdy pro jeho ztrátu.
Objektové dotazy jsou pevným počtem naučených vektorů; dekodér každý převede na predikci objektu nebo výsledek „žádný objekt“.
DETR páruje konvoluční páteř pro funkce s transformátorovým kodérem-dekodérem pro predikci sady.
The learning objective encourages a unique prediction per object; this is a design and training mechanism rather than an infallibility guarantee.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Obnova transformátoru SwinIR
Vizuální AI