Откриване на трансформатор DETR
DETR (DEtection TRansformer) преформулира откриването на обект като проблем с директно предсказване на набор, решен с трансформатор, премахвайки ръчно проектирани стъпки като анкерни кутии и не-максимално потискане.
Преглед
It matters because it gave detection a clean, end-to-end pipeline that inspired a wave of transformer-based vision models.
Дълбоко гмуркане
Въведен от Facebook AI през 2020 г., DETR комбинира CNN гръбнак с трансформаторен енкодер-декодер. CNN извлича характеристики на изображението; енкодерът смесва глобалния контекст в цялото изображение; и декодерът взема фиксиран набор от научени „заявки за обекти“ и превръща всеки или в открит обект (клас плюс ограничителна кутия), или в резултат „без обект“. Ключовата новост е двустранното съпоставяне: по време на обучение унгарски алгоритъм намира присвояване едно към едно между прогнози и обекти с основна истина, така че моделът се научава да извежда директно уникална кутия за обект. Това елиминира не-максималното потискане и настройката на котвата. Компромисите бяха бавна конвергенция и по-слаба точност на малки обекти, на които се обърнаха последващи действия като Deformable DETR.
Техническа информация
Определящият механизъм на DETR е базираната на набор загуба с унгарско съвпадение. Вместо да отбелязва хиляди закотвени полета, той излъчва фиксиран брой прогнози (често 100 заявки за обекти) и ги съпоставя едно към едно с истински обекти, санкционирайки както грешките в класификацията, така и грешките в кутията на съвпадащите двойки и изтласквайки несъвпадащите заявки към „няма обект“. Тъй като съпоставянето е едно към едно, дублиращите се откривания се потискат от дизайна, а не от отделна стъпка за последваща обработка.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на откриването на трансформатори DETR
DETR пусна цяло семейство трансформатори за откриване. Варианти като деформируем DETR, DAB-DETR, DN-DETR и DINO драстично ускориха обучението и подобриха точността, като моделите в стил DINO достигнаха върха на показателите за откриване. Базираната на заявка парадигма от край до край сега се разширява до сегментиране, проследяване и 3D откриване, а детекторите с отворен речник се основават на нея. Очаквайте продължаващо сближаване на откриването, сегментирането и езиковото заземяване в унифицирани трансформаторни архитектури, като DETR се помни като основната стъпка, която премахна ръчно изработените евристики.
Внедряване в реалния свят
Откриване и боксиране на пешеходци и превозни средства в набори от данни за изследване на автономно шофиране
Захранване на паноптична сегментация, когато се разшири до предсказване на маска на пиксел
Служи като основна архитектура за детектори с отворен речник и заземяване
Намиране на обекти в изображения на рафтове за търговия на дребно без настройка на размерите на котва за набор от данни
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DETR Transformer Detection quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Възстановяване на SwinIR трансформатор
Frequently asked questions
What is DETR Transformer Detection?
DETR (DEtection TRansformer) преформулира откриването на обект като проблем с директно предсказване на набор, решен с трансформатор, премахвайки ръчно проектирани стъпки като анкерни кутии и не-максимално потискане. Има значение, защото даде на откриването изчистен тръбопровод от край до край, който вдъхнови вълна от модели на зрение, базирани на трансформатори.
Какво премахва DETR в сравнение с традиционните детектори като Faster R-CNN?
DETR е от край до край и предсказва директно набор от кутии, като елиминира котвите и стъпката за последваща обработка на потискане без максимално потискане.
Кой алгоритъм използва DETR, за да съпостави прогнозите с наземни обекти по време на обучение?
DETR използва унгарския алгоритъм, за да формира присвояване едно към едно между прогнози и обекти за наземна истина за своята зададена загуба.
Какво представляват „обектните заявки“ на DETR?
Обектните заявки са фиксиран брой научени вектори; декодерът преобразува всеки в предсказване на обект или резултат „без обект“.
Каква цялостна архитектура съчетава DETR?
DETR сдвоява конволюционна основа за функции с трансформаторен енкодер-декодер за предсказване на набор.
Защо DETR не се нуждае от не-максимално потискане?
Загубата на съвпадение едно към едно учи модела да излъчва единична прогноза за обект, така че последващата обработка за премахване на дубликати е ненужна.