ДалееСледующее руководство
Пространственные трансформаторные сети
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Функциональные пирамидальные сети
Функциональные пирамидальные сети (FPN) позволяют детекторам обнаруживать объекты самых разных размеров, дешево создавая многомасштабную «пирамиду» функций.
На этой странице2 минуты чтения
Обзор
They are the reason modern detectors find both a tiny faraway pedestrian and a huge nearby truck in the same image.
Глубокое погружение
Объекты на изображениях появляются во многих масштабах, и одна карта объектов не может справиться со всеми из них. Старые подходы строили пирамиды изображений, многократно изменяя размер фотографии и запуская сеть для каждой копии, что было медленно. FPN, представленный Lin et al. в 2017 году вместо этого повторно использует естественную пирамиду, уже находящуюся внутри сверточной сети. Магистральная сеть, подобная ResNet, создает карты объектов, которые становятся меньше и более семантически глубже в сети. FPN добавляет путь сверху вниз: он повышает дискретизацию глубоких, семантически богатых функций и объединяет их через боковые связи с мелкими функциями высокого разрешения. Результатом является набор карт объектов, которые являются семантически сильными, но сохраняют мелкие пространственные детали, что значительно улучшает обнаружение мелких объектов практически без дополнительных затрат.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее сетей функциональной пирамиды
Нисходящая конструкция FPN породила множество последователей: PANet добавляет восходящий путь, BiFPN (используется в EfficientDet) делает объединение обучаемым и двунаправленным с взвешенными соединениями, а NAS-FPN автоматически ищет топологию объединения. Детекторы-трансформеры, такие как DETR, обходят явные пирамиды, но многомасштабный синтез остается центральным. Ожидается, что идеи в стиле FPN сохранятся внутри преобразователей зрения и эффективных детекторов на устройствах, все чаще с обучаемым адаптивным взвешиванием по шкале, а не с фиксированными соединениями.
Реальная реализация
Одновременное обнаружение маленьких, удаленных пешеходов и больших транспортных средств поблизости в стеках восприятия беспилотных автомобилей.
Обеспечение сегментации экземпляров в Mask R-CNN, где FPN передает многомасштабные функции в предложение региона и заголовки маски.
Обнаружение крошечных опухолей рядом с крупными органами в конвейерах обнаружения медицинских изображений
Нахождение объектов различного размера на спутниковых и аэрофотоснимках: от небольших лодок до больших зданий.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Pyramid Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Часто задаваемые вопросы
What is Feature Pyramid Networks?
Функциональные пирамидальные сети (FPN) позволяют детекторам обнаруживать объекты самых разных размеров, дешево создавая многомасштабную «пирамиду» функций. Именно по этой причине современные детекторы обнаруживают на одном и том же изображении и крошечного пешехода вдали, и огромный грузовик, находящийся неподалеку.
Какую основную проблему в первую очередь решает сеть Feature Pyramid Network?
FPN создает многомасштабное представление объектов, поэтому детектор может обрабатывать объекты от крошечных до очень больших за один проход.
Какова роль нисходящего пути в ФПН?
Нисходящий путь повышает дискретизацию глубоких семантических функций и объединяет их с более мелкими картами с высоким разрешением, поэтому каждый уровень одновременно детализирован и семантически силен.
Как боковые связи обычно сочетаются с нисходящими функциями с повышенной дискретизацией?
Свертка 1x1 корректирует количество каналов карты латеральных объектов, которая затем поэлементно добавляется к нисходящему объекту с 2-кратной дискретизацией.
Почему к каждой объединенной карте объектов в FPN применяется свертка 3x3?
После поэлементного сложения свертка 3x3 уменьшает артефакты сглаживания, возникающие при повышении дискретизации, создавая более чистые уровни пирамиды.
Какая более поздняя архитектура расширила FPN с помощью обучаемого взвешенного двунаправленного слияния?
BiFPN, представленный вместе с EfficientDet, обеспечивает двунаправленное объединение функций и изучает веса того, насколько велик вклад каждого входного сигнала.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме