Визуальное руководство по искусственному интеллекту

Распространение новых взглядов от нуля до трех

От нуля от 1 до 3 превращает одну фотографию объекта в изображения того же объекта, видимого под любым новым углом, используя диффузионную модель, обусловленную запрошенным вами поворотом камеры.

Прослушайте это руководствоОзвучено ИИ · ~2 min

На этой странице2 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее распространения новых взглядов от нуля до трех
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, поскольку позволяет восстанавливать трехмерные изображения без необходимости сканирования объекта с нескольких сторон.

Глубокое погружение

Zero-1-to-3 (из Колумбии, 2023 г.) настраивает Stable Diffusion так, чтобы он мог выполнять синтез новых представлений с нулевым выстрелом из одного входного изображения. Вы передаете ему одно изображение плюс относительное преобразование камеры (поворот и небольшой сдвиг), и модель генерирует то, как объект будет выглядеть с этой новой точки зрения. Ключевая идея заключается в том, что большие 2D-модели диффузии, обученные на огромных коллекциях веб-изображений, неявно учитывают геометрические и физические априорные данные о том, как объекты выглядят в 3D. Путем точной настройки синтетического набора данных объектов, визуализируемых со многих контролируемых ракурсов камеры (с использованием Objaverse), модель учится сопоставлять эти априорные значения с явным управлением камерой. Сгенерированные виды затем могут использоваться для последующей 3D-реконструкции.

Реальная реализация

Создание изображений одной фотографии продукта на поворотном столе, чтобы в списке электронной коммерции можно было показать товар со всех сторон.

Создание текстурированной 3D-сетки объекта из одного случайного снимка телефона для предварительного просмотра AR

Создание последовательного многоракурсного эталонного изображения персонажа или реквизита для концепт-художников игр и фильмов.

Вставка синтезированных новых представлений в реконструкцию NeRF или Gaussian Splatting для заполнения невидимой геометрии.

Будущее распространения новых взглядов от нуля до трех

Переход от нуля к 3 породил волну конвейеров преобразования изображения в 3D. Преемники, такие как Zero123-XL, SyncDreamer и One-2-3-45, способствуют обеспечению согласованности нескольких представлений и более быстрому и надежному выводу трехмерных сеток, а интеграция с Gaussian Splatting и большими моделями реконструкции сокращает время генерации с минут до секунд. Ожидайте более строгой согласованности представлений, более высокого разрешения и обобщения реального мира (а не только синтетических объектов), поскольку эти модели диффузии, управляемые с точки зрения, превращаются в стандартные инструменты для создания контента.

Применение на практике

Почему это важно

  • Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
  • Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
  • Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.

Следите за

  • Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
  • Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
  • Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.

Следующие шаги

  1. Определите критерии приемки точности, стоимости отзыва и ошибок.
  2. Тестируйте с данными, которые соответствуют реальным производственным условиям.
  3. Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
  4. Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите викторину «Распространение взглядов на роман от нуля до трех»

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое распространение взглядов на роман от нуля до трех?

От нуля от 1 до 3 превращает одну фотографию объекта в изображения того же объекта, видимого под любым новым углом, используя диффузионную модель, обусловленную запрошенным вами поворотом камеры. Это важно, поскольку позволяет восстанавливать трехмерные изображения без необходимости сканирования объекта с нескольких сторон.

Какие основные входные данные необходимы для процесса «от нуля до трех» в дополнение к одному изображению для создания нового представления?

От нуля до трех зависит от одного изображения плюс относительная поза камеры, поэтому вы указываете вращение и перемещение к желаемой точке обзора.

От нуля до трех построена путем тонкой настройки какой модели?

Он настраивает большую предварительно обученную 2D-модель диффузии, чтобы она могла использовать геометрические априорные данные, которые эти модели неявно извлекли из веб-изображений.

Почему двумерная диффузионная модель вообще может выполнять синтез нового представления с нулевым выстрелом?

Масштабное 2D-обучение дает неявные знания о том, как объекты выглядят в 3D, а точная настройка позволяет управлять ими с помощью позы камеры.

Какой набор данных 3D-объектов был центральным для обучения «от нуля до трех»?

Он обучался на тройках изображение-поза-изображение, полученных из больших синтетических коллекций 3D-объектов, таких как Objaverse.

Как при генерации сохраняются мелкие детали исходного изображения?

Необработанное изображение объединяется по каналам со скрытым шумом (наряду с внедрением CLIP для семантики), поэтому сохраняется идентичность и детализация.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →