ДалееСледующее руководство
Монокулярная оценка глубины
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Оценка глубины диффузии бархатцев
Мэриголд перепрофилирует предварительно обученную модель диффузии для генерации изображений (Stable Diffusion) для прогнозирования очень подробных карт глубины.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Глубокое погружение
Мэриголд (ETH Zurich, поощрительная премия CVPR 2024 за лучшую статью) переосмысливает оценку глубины как задачу условной генерации. Вместо обучения сети глубины с нуля он настраивает Stable Diffusion для «создания» карты глубины на основе входного изображения. Идея заключается в том, что модель, обученная синтезировать фотореалистичные изображения, уже изучила геометрию сцены, освещение и структуру глубоко в ее скрытом пространстве, то есть именно те априорные значения, которые полезны для глубины. Примечательно, что Marigold был настроен только на синтетические наборы данных (такие как Hypersim и Virtual KITTI), но при этом хорошо обобщает реальные фотографии с нуля. Он создает аффинно-инвариантную относительную глубину с исключительно мелкой детализацией, хотя итеративное шумоподавление делает его медленнее, чем модели с прямой связью, такие как DepthAnything.
Реальная реализация
Извлечение детальной глубины из архитектурных фотографий и фотографий продуктов для переосвещения и 3D-макетов.
Создание высокодетализированных карт глубины, используемых в качестве условий для контролируемой генерации изображений и видео.
Помощь командам, работающим с фильмами и визуальными эффектами, в работе с матовой поверхностью и параллаксом, где важна точность краев.
Служит основой для исследований, показывающих, как адаптировать генеративные априоры к задачам плотного прогнозирования.
Будущее оценки глубины диффузии бархатцев
Рецепт Мэриголд, точная настройка априорной диффузии для плотного предсказания, обобщает не только глубину, но и нормали к поверхности, внутреннее разложение изображения и оценку материала. Более быстрые варианты моделей согласованности сокращают разрыв в скорости с помощью сетей прямой связи, делая восприятие, основанное на диффузии, жизнеспособным в интерактивных инструментах. Ожидайте более широкой тенденции, когда одна предварительно обученная генеративная основа адаптируется ко многим задачам геометрии и восприятия, что снижает потребность в больших наборах данных с метками для конкретных задач.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Marigold Diffusion Depth Estimation quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Marigold Diffusion Depth Estimation?
Мэриголд перепрофилирует предварительно обученную модель диффузии для генерации изображений (Stable Diffusion) для прогнозирования очень подробных карт глубины. Это показывает, что вы можете превратить богатые визуальные знания генератора в точный инструмент восприятия с удивительно небольшим количеством обучающих данных.
На какой предварительно обученной модели построена Мэриголд?
Мэриголд настраивает модель скрытой диффузии Stable Diffusion для создания карт глубины.
Как Мэриголд формулирует задачу оценки глубины?
Он рассматривает глубину как нечто, что нужно «сгенерировать» на основе входного изображения, повторно используя механизм диффузии.
Что же удивительного в данных о тренировках Мэриголд?
Marigold была точно настроена на синтетических данных, таких как Hypersim и Virtual KITTI, но обобщает нулевой снимок на реальные фотографии.
Почему Marigold обычно работает медленнее, чем модели глубины с прямой связью?
Модели диффузии удаляют шум за несколько шагов, что делает вывод медленнее, чем один прямой проход.
В каком пространстве Мэриголд осуществляет процесс диффузии?
И изображение, и глубина кодируются в скрытом пространстве VAE, где U-Net подавляет шум.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме