ДалееСледующее руководство
Восстановление трансформатора SwinIR
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Обнаружение трансформатора DETR
DETR (DEtection TRansformer) переосмысливает обнаружение объектов как прямую задачу прогнозирования набора, решаемую с помощью преобразователя, удаляя разработанные вручную шаги, такие как якорные коробки и немаксимальное подавление.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It matters because it gave detection a clean, end-to-end pipeline that inspired a wave of transformer-based vision models.
Глубокое погружение
DETR, представленный Facebook AI в 2020 году, сочетает в себе магистраль CNN с преобразователем-кодер-декодером. CNN извлекает особенности изображения; кодер смешивает глобальный контекст по всему изображению; а декодер берет фиксированный набор изученных «запросов объектов» и превращает каждый из них либо в обнаруженный объект (класс плюс ограничивающий прямоугольник), либо в результат «нет объекта». Ключевой новинкой является двустороннее сопоставление: во время обучения венгерский алгоритм находит взаимно-однозначное соответствие между предсказаниями и достоверными объектами, поэтому модель учится напрямую выводить уникальный блок для каждого объекта. Это исключает немаксимальное подавление и настройку якоря. Компромиссами были медленная сходимость и более низкая точность при работе с небольшими объектами, что было решено в последующих разработках, таких как Deformable DETR.
Реальная реализация
Обнаружение и группирование пешеходов и транспортных средств в наборах данных исследований автономного вождения
Обеспечение паноптической сегментации при расширении до попиксельного прогнозирования маски
Служит базовой архитектурой для детекторов открытого словаря и заземления.
Поиск объектов на изображениях розничных полок без настройки размеров привязок для каждого набора данных
Будущее обнаружения трансформаторов DETR
DETR выпустила целое семейство детекторных трансформаторов. Такие варианты, как Deformable DETR, DAB-DETR, DN-DETR и DINO, значительно ускорили обучение и повысили точность, а модели в стиле DINO достигли вершины тестов обнаружения. Сквозная парадигма, основанная на запросах, теперь распространяется на сегментацию, отслеживание и трехмерное обнаружение, а на ее основе построены детекторы открытого словаря. Ожидайте продолжения конвергенции обнаружения, сегментации и языкового обоснования в унифицированных архитектурах преобразователей, при этом DETR запомнится как ключевой шаг, который устранил созданную вручную эвристику.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the DETR Transformer Detection quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is DETR Transformer Detection?
DETR (DEtection TRansformer) переосмысливает обнаружение объектов как прямую задачу прогнозирования набора, решаемую с помощью преобразователя, удаляя разработанные вручную шаги, такие как якорные коробки и немаксимальное подавление. Это важно, потому что оно дало обнаружению чистый, сквозной конвейер, который вдохновил волну моделей машинного зрения на основе трансформаторов.
Что удаляет DETR по сравнению с традиционными детекторами, такими как Faster R-CNN?
DETR является сквозным и прогнозирует набор блоков напрямую, устраняя привязки и этап постобработки немаксимального подавления.
Какой алгоритм использует DETR для сопоставления прогнозов с достоверными объектами во время обучения?
DETR использует венгерский алгоритм для формирования однозначного назначения между предсказаниями и объектами основной истины для потери их набора.
Что такое «объектные запросы» DETR?
Объектные запросы представляют собой фиксированное количество изученных векторов; декодер преобразует каждый из них в предсказание объекта или результат «нет объекта».
Какую общую архитектуру объединяет DETR?
DETR объединяет сверточную магистраль для функций с преобразователем-кодер-декодером для предсказания набора.
How does DETR's training objective support inference without a separate NMS stage?
The learning objective encourages a unique prediction per object; this is a design and training mechanism rather than an infallibility guarantee.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме