ДалееСледующее руководство
Монокулярная оценка глубины
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
DepthAnything — это базовая модель, которая оценивает, насколько далеко находится каждый пиксель от одной обычной фотографии, без использования специального оборудования.
Прослушайте это руководствоОзвучено ИИ · ~2 min
It made robust, general-purpose depth sensing cheap and accessible for anything from phones to robots.
DepthAnything (2024 г., выпущенный исследователями, в том числе из TikTok/ByteDance и HKU) занимается монокулярной оценкой глубины: прогнозированием карты глубины по одному изображению RGB. Ее прорыв был масштабным: вместо того, чтобы полагаться только на ограниченные доступные данные о размеченной глубине, команда создала механизм, который автоматически размечал примерно 62 миллиона неразмеченных фотографий с использованием модели учителя, а затем обучал студента на этом огромном корпусе. Это дает четкое обобщение с нулевым кадром для сцен в помещении, на открытом воздухе и необычных сцен. Оригинал выводит относительную глубину (какие пиксели ближе или дальше, а не точные метры). DepthAnything V2 (середина 2024 г.) позволил повысить четкость мелких деталей, обучая учителя работе с синтетическими данными с идеальной достоверностью, а затем превращая их в реальные изображения, исправляя размытые края и ошибки прозрачных объектов.
Создание карт глубины для реалистичного размытия фона (боке) на портретных фотографиях со смартфона с одним объективом.
Обеспечение 3D-восприятия препятствий для недорогих дронов и роботов, у которых нет LiDAR или стереокамер.
Создание карт настройки глубины для ControlNet, чтобы генераторы изображений сохраняли геометрию сцены.
Преобразование 2D-фотографий и фильмов в 3D-эффекты или эффекты параллакса для VR и стереоскопических дисплеев.
Ожидайте более тесной интеграции с очками дополненной реальности, камерами смартфонов и робототехникой, где специальный LiDAR слишком дорог или громоздок. Варианты метрики, которые выдают истинные метры, а также видеомодели со стабильной во времени глубиной (без мерцания между кадрами) быстро развиваются. Поскольку эти модели сокращаются для работы на устройстве в режиме реального времени, трехмерное восприятие одной камерой станет функцией по умолчанию, обеспечивающей пространственные вычисления, автономную навигацию и генеративную реконструкцию трехмерных сцен.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
DepthAnything — это базовая модель, которая оценивает, насколько далеко находится каждый пиксель от одной обычной фотографии, без использования специального оборудования. Это сделало надежное, универсальное измерение глубины дешевым и доступным для всех — от телефонов до роботов.
Монокулярный означает, что глубина определяется по изображению одной (моно) камеры без стереопары или активного датчика.
Команда создала систему обработки данных, которая псевдомаркировала десятки миллионов немаркированных фотографий, что значительно расширило масштабы обучения.
DepthAnything использует кодер DINOv2 ViT в сочетании с головкой плотного прогнозирования в стиле DPT.
Базовая модель предсказывает относительный порядок глубины, а не абсолютные метрические расстояния.
V2 обучал учителя искусственным изображениям с точной глубиной, а затем превращал их в реальные фотографии для более четких границ.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Монокулярная оценка глубины
Визуальный ИИ