СледваСледващо ръководство
Възстановяване на SwinIR трансформатор
Визуален AI
РЪКОВОДСТВО за визуален AI
Откриване на трансформатор DETR
DETR (DEtection TRansformer) преформулира откриването на обект като проблем с директно предсказване на набор, решен с трансформатор, премахвайки ръчно проектирани стъпки като анкерни кутии и не-максимално потискане.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Има значение, защото даде на откриването изчистен тръбопровод от край до край, който вдъхнови вълна от модели на зрение, базирани на трансформатори.
Дълбоко гмуркане
Въведен от Facebook AI през 2020 г., DETR комбинира CNN гръбнак с трансформаторен енкодер-декодер. CNN извлича характеристики на изображението; енкодерът смесва глобалния контекст в цялото изображение; и декодерът взема фиксиран набор от научени „заявки за обекти“ и превръща всеки или в открит обект (клас плюс ограничителна кутия), или в резултат „без обект“. Ключовата новост е двустранното съпоставяне: по време на обучение унгарски алгоритъм намира присвояване едно към едно между прогнози и обекти с основна истина, така че моделът се научава да извежда директно уникална кутия за обект. Това елиминира не-максималното потискане и настройката на котвата. Компромисите бяха бавна конвергенция и по-слаба точност на малки обекти, на които се обърнаха последващи действия като Deformable DETR.
Внедряване в реалния свят
Откриване и боксиране на пешеходци и превозни средства в набори от данни за изследване на автономно шофиране
Захранване на паноптична сегментация, когато се разшири до предсказване на маска на пиксел
Служи като основна архитектура за детектори с отворен речник и заземяване
Намиране на обекти в изображения на рафтове за търговия на дребно без настройка на размерите на котва за набор от данни
Бъдещето на откриването на трансформатори DETR
DETR пусна цяло семейство трансформатори за откриване. Варианти като деформируем DETR, DAB-DETR, DN-DETR и DINO драстично ускориха обучението и подобриха точността, като моделите в стил DINO достигнаха върха на показателите за откриване. Базираната на заявка парадигма от край до край сега се разширява до сегментиране, проследяване и 3D откриване, а детекторите с отворен речник се основават на нея. Очаквайте продължаващо сближаване на откриването, сегментирането и езиковото заземяване в унифицирани трансформаторни архитектури, като DETR се помни като основната стъпка, която премахна ръчно изработените евристики.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
- Избор на билдове. Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
- Екип и работен процес. Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Внимавайте за
- Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
- Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
- Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Следващи стъпки
- Определете критерии за приемане за прецизност, извикване и разходи за грешки.
- Тествайте с данни, които съответстват на реалните производствени условия.
- Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
- Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the DETR Transformer Detection quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво представлява откриването на трансформатор DETR?
DETR (DEtection TRansformer) преформулира откриването на обект като проблем с директно предсказване на набор, решен с трансформатор, премахвайки ръчно проектирани стъпки като анкерни кутии и не-максимално потискане. Има значение, защото даде на откриването изчистен тръбопровод от край до край, който вдъхнови вълна от модели на зрение, базирани на трансформатори.
Какво премахва DETR в сравнение с традиционните детектори като Faster R-CNN?
DETR е от край до край и предсказва директно набор от кутии, като елиминира котвите и стъпката за последваща обработка на потискане без максимално потискане.
Кой алгоритъм използва DETR, за да съпостави прогнозите с наземни обекти по време на обучение?
DETR използва унгарския алгоритъм, за да формира присвояване едно към едно между прогнози и обекти за наземна истина за своята зададена загуба.
Какво представляват „обектните заявки“ на DETR?
Обектните заявки са фиксиран брой научени вектори; декодерът преобразува всеки в предсказване на обект или резултат „без обект“.
Каква цялостна архитектура съчетава DETR?
DETR сдвоява конволюционна основа за функции с трансформаторен енкодер-декодер за предсказване на набор.
How does DETR's training objective support inference without a separate NMS stage?
The learning objective encourages a unique prediction per object; this is a design and training mechanism rather than an infallibility guarantee.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема