ДалееСледующее руководство
Пространственные трансформаторные сети
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Функциональные пирамидальные сети
Функциональные пирамидальные сети (FPN) позволяют детекторам обнаруживать объекты самых разных размеров, дешево создавая многомасштабную «пирамиду» функций.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Глубокое погружение
Объекты на изображениях появляются во многих масштабах, и одна карта объектов не может справиться со всеми из них. Старые подходы строили пирамиды изображений, многократно изменяя размер фотографии и запуская сеть для каждой копии, что было медленно. FPN, представленный Lin et al. в 2017 году вместо этого повторно использует естественную пирамиду, уже находящуюся внутри сверточной сети. Магистральная сеть, подобная ResNet, создает карты объектов, которые становятся меньше и более семантически глубже в сети. FPN добавляет путь сверху вниз: он повышает дискретизацию глубоких, семантически богатых функций и объединяет их через боковые связи с мелкими функциями высокого разрешения. Результатом является набор карт объектов, которые являются семантически сильными, но сохраняют мелкие пространственные детали, что значительно улучшает обнаружение мелких объектов практически без дополнительных затрат.
Реальная реализация
Одновременное обнаружение маленьких, удаленных пешеходов и больших транспортных средств поблизости в стеках восприятия беспилотных автомобилей.
Обеспечение сегментации экземпляров в Mask R-CNN, где FPN передает многомасштабные функции в предложение региона и заголовки маски.
Обнаружение крошечных опухолей рядом с крупными органами в конвейерах обнаружения медицинских изображений
Нахождение объектов различного размера на спутниковых и аэрофотоснимках: от небольших лодок до больших зданий.
Будущее сетей функциональной пирамиды
Нисходящая конструкция FPN породила множество последователей: PANet добавляет восходящий путь, BiFPN (используется в EfficientDet) делает объединение обучаемым и двунаправленным с взвешенными соединениями, а NAS-FPN автоматически ищет топологию объединения. Детекторы-трансформеры, такие как DETR, обходят явные пирамиды, но многомасштабный синтез остается центральным. Ожидается, что идеи в стиле FPN сохранятся внутри преобразователей зрения и эффективных детекторов на устройствах, все чаще с обучаемым адаптивным взвешиванием по шкале, а не с фиксированными соединениями.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Feature Pyramid Networks quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Feature Pyramid Networks?
Функциональные пирамидальные сети (FPN) позволяют детекторам обнаруживать объекты самых разных размеров, дешево создавая многомасштабную «пирамиду» функций. Именно по этой причине современные детекторы обнаруживают на одном и том же изображении и крошечного пешехода вдали, и огромный грузовик, находящийся неподалеку.
Какую основную проблему в первую очередь решает сеть Feature Pyramid Network?
FPN создает многомасштабное представление объектов, поэтому детектор может обрабатывать объекты от крошечных до очень больших за один проход.
Какова роль нисходящего пути в ФПН?
Нисходящий путь повышает дискретизацию глубоких семантических функций и объединяет их с более мелкими картами с высоким разрешением, поэтому каждый уровень одновременно детализирован и семантически силен.
Как боковые связи обычно сочетаются с нисходящими функциями с повышенной дискретизацией?
Свертка 1x1 корректирует количество каналов карты латеральных объектов, которая затем поэлементно добавляется к нисходящему объекту с 2-кратной дискретизацией.
Почему к каждой объединенной карте объектов в FPN применяется свертка 3x3?
После поэлементного сложения свертка 3x3 уменьшает артефакты сглаживания, возникающие при повышении дискретизации, создавая более чистые уровни пирамиды.
Какая более поздняя архитектура расширила FPN с помощью обучаемого взвешенного двунаправленного слияния?
BiFPN, представленный вместе с EfficientDet, обеспечивает двунаправленное объединение функций и изучает веса того, насколько велик вклад каждого входного сигнала.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме