ДалееСледующее руководство
Обнаружение трансформатора DETR
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Пространственные трансформаторные сети
Сети пространственных преобразователей (STN) — это обучаемые модули, которые позволяют нейронной сети активно деформировать, вращать, обрезать или изменять масштаб входных данных, чтобы сосредоточиться на том, что важно.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
They give CNNs a built-in sense of spatial attention and invariance.
Глубокое погружение
Стандартные сверточные сети лишь слабо инвариантны к изменениям положения, масштаба и вращения, полагаясь на объединение в пул для небольшой толерантности. Пространственные трансформаторные сети, представленные Джадербергом и др. в 2015 году исправьте это, вставив дифференцируемый модуль, который выполняет явное геометрическое преобразование на картах объектов. Модуль состоит из трех частей: сеть локализации, которая прогнозирует параметры преобразования, генератор сетки, который строит сетку выборки на основе этих параметров, и сэмплер, который интерполирует входные данные в точках сетки. Поскольку каждый шаг дифференцируем, весь преобразователь обучается сквозным методом обратного распространения ошибки без дополнительного контроля. Сеть учится, например, выпрямлять наклоненные цифры или увеличивать масштаб соответствующей области, повышая точность и надежность.
Реальная реализация
Выпрямление и выравнивание изогнутого или повернутого текста перед распознаванием в системах оптического распознавания текста сцены.
Увеличение масштаба различающихся областей (например, птичьего клюва или крыла) для более детальной классификации изображений.
Нормализация позы и выравнивания лица как этап предварительной обработки в конвейерах распознавания лиц
Исправление искажений и выравнивание сканов при регистрации медицинских изображений
Будущее пространственных трансформаторных сетей
STN повлияли на то, как сети обрабатывают геометрию и внимание, используя деформируемые свертки и модули обучения деформации. Несмотря на то, что сейчас доминируют преобразователи самообслуживания, дифференцируемая выборка в стиле STN сохраняется в задачах, требующих явного геометрического выравнивания: распознавание текста, детальная классификация и нормализация позы. Ожидается, что дифференцируемое искажение будет продолжать появляться в трехмерном зрении, нейронном рендеринге и регистрации медицинских изображений, часто сочетаясь с вниманием, а не заменяя его.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Spatial Transformer Networks quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Spatial Transformer Networks?
Сети пространственных преобразователей (STN) — это обучаемые модули, которые позволяют нейронной сети активно деформировать, вращать, обрезать или изменять масштаб входных данных, чтобы сосредоточиться на том, что важно. Они дают CNN встроенное чувство пространственного внимания и инвариантности.
Какие возможности сеть пространственных преобразователей добавляет к нейронной сети?
STN вставляют обучаемый модуль, который может переводить, вращать, масштабировать или деформировать карты объектов, чтобы сосредоточиться на соответствующем контенте.
Какие три компонента составляют модуль пространственного преобразователя?
STN состоит из сети локализации (прогнозирует параметры), генератора сетки (строит координаты выборки) и пробоотборника (интерполирует входные данные).
Почему сеть пространственных преобразователей можно обучать с помощью обычного обратного распространения ошибки?
Билинейная интерполяция в сэмплере дифференцируема, поэтому градиенты возвращаются через генератор сетки в сеть локализации, обеспечивая сквозное обучение.
Что обычно выдает сеть локализации при аффинном преобразовании?
Для аффинных преобразований сеть локализации прогнозирует шесть значений, организованных в виде матричного кодирования перевода, масштабирования, вращения и сдвига 2x3.
Почему стандартные CNN лишь слабо инвариантны к пространственным изменениям, что мотивирует STN?
CNN достигают лишь умеренной пространственной инвариантности за счет объединения; STN добавляют явный и обучаемый способ управления положением, масштабом и вращением.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме