ДалееСледующее руководство
Синтез новых представлений
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
От нуля от 1 до 3 превращает одну фотографию объекта в изображения того же объекта, видимого под любым новым углом, используя диффузионную модель, обусловленную запрошенным вами поворотом камеры.
Прослушайте это руководствоОзвучено ИИ · ~2 min
Это важно, поскольку позволяет восстанавливать трехмерные изображения без необходимости сканирования объекта с нескольких сторон.
Zero-1-to-3 (из Колумбии, 2023 г.) настраивает Stable Diffusion так, чтобы он мог выполнять синтез новых представлений с нулевым выстрелом из одного входного изображения. Вы передаете ему одно изображение плюс относительное преобразование камеры (поворот и небольшой сдвиг), и модель генерирует то, как объект будет выглядеть с этой новой точки зрения. Ключевая идея заключается в том, что большие 2D-модели диффузии, обученные на огромных коллекциях веб-изображений, неявно учитывают геометрические и физические априорные данные о том, как объекты выглядят в 3D. Путем точной настройки синтетического набора данных объектов, визуализируемых со многих контролируемых ракурсов камеры (с использованием Objaverse), модель учится сопоставлять эти априорные значения с явным управлением камерой. Сгенерированные виды затем могут использоваться для последующей 3D-реконструкции.
Создание изображений одной фотографии продукта на поворотном столе, чтобы в списке электронной коммерции можно было показать товар со всех сторон.
Создание текстурированной 3D-сетки объекта из одного случайного снимка телефона для предварительного просмотра AR
Создание последовательного многоракурсного эталонного изображения персонажа или реквизита для концепт-художников игр и фильмов.
Вставка синтезированных новых представлений в реконструкцию NeRF или Gaussian Splatting для заполнения невидимой геометрии.
Переход от нуля к 3 породил волну конвейеров преобразования изображения в 3D. Преемники, такие как Zero123-XL, SyncDreamer и One-2-3-45, способствуют обеспечению согласованности нескольких представлений и более быстрому и надежному выводу трехмерных сеток, а интеграция с Gaussian Splatting и большими моделями реконструкции сокращает время генерации с минут до секунд. Ожидайте более строгой согласованности представлений, более высокого разрешения и обобщения реального мира (а не только синтетических объектов), поскольку эти модели диффузии, управляемые с точки зрения, превращаются в стандартные инструменты для создания контента.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
От нуля от 1 до 3 превращает одну фотографию объекта в изображения того же объекта, видимого под любым новым углом, используя диффузионную модель, обусловленную запрошенным вами поворотом камеры. Это важно, поскольку позволяет восстанавливать трехмерные изображения без необходимости сканирования объекта с нескольких сторон.
От нуля до трех зависит от одного изображения плюс относительная поза камеры, поэтому вы указываете вращение и перемещение к желаемой точке обзора.
Он настраивает большую предварительно обученную 2D-модель диффузии, чтобы она могла использовать геометрические априорные данные, которые эти модели неявно извлекли из веб-изображений.
Масштабное 2D-обучение дает неявные знания о том, как объекты выглядят в 3D, а точная настройка позволяет управлять ими с помощью позы камеры.
Он обучался на тройках изображение-поза-изображение, полученных из больших синтетических коллекций 3D-объектов, таких как Objaverse.
Необработанное изображение объединяется по каналам со скрытым шумом (наряду с внедрением CLIP для семантики), поэтому сохраняется идентичность и детализация.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Синтез новых представлений
Визуальный ИИ