Визуальное руководство по искусственному интеллекту

Генерация текстур AI для 3D-моделей

Генерация текстур ИИ использует модели, в основном основанные на диффузии, для создания бесшовных материалов физически обоснованного рендеринга (PBR), таких как альбедо, карты нормалей и шероховатостей, или для рисования текстур непосредственно на 3D-сетке из текстовой подсказки или изображения.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее генерации текстур с помощью искусственного интеллекта для 3D-моделей
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он заменяет большую часть медленной ручной работы по фотографированию, покраске и облицовке материалов. Это важно для игровых художников, 3D-дизайнеров и любителей, но результаты требуют проверки, поскольку сгенерированные карты представляют собой правдоподобные оценки, а не измеренные свойства поверхности.

Глубокое погружение

Генерация текстур ИИ охватывает две взаимосвязанные задачи: создание мозаичных PBR-материалов и рисование текстур на определенной сетке. Физически обоснованный рендеринг описывает поверхность с несколькими картами, а не с одним изображением: базовый цвет или альбедо (цвет без освещения), карта нормалей (небольшие неровности поверхности, закодированные как попиксельные направления), шероховатость (насколько размыты отражения), металлик, а также часто высота и окружающая окклюзия. Такие движки, как Unreal, Unity и Blender, сочетают их с освещением сцены, поэтому хороший материал выглядит хорошо при любом освещении. Что касается материалов, модель генерирует или оценивает полный набор карт. Adobe Substance 3D Sampler, например, может превратить одну фотографию в материал, оценив нормаль, высоту и шероховатость, а исследовательские модели совместно генерируют наборы карт из текста, чтобы они оставались согласованными. Отдельное требование — бесшовная плитка: левый край должен переходить в правый, а верхний — в нижний. Распространенные методы включают круговое заполнение внутри сети и смещение изображения во время шумоподавления, чтобы швы восстанавливались в середине холста. Для сеток такие методы, как TEXTure и Text2Tex, оба из 2023 года, визуализируют модель с нескольких точек зрения, используют модель диффузии с обусловленной глубиной для рисования каждого вида, проецируют результат обратно в UV-текстуру сетки и заполняют области, пропущенные на предыдущих представлениях. Коммерческие инструменты, в том числе функции Meshy и Adobe на базе Firefly в Substance 3D, предлагают аналогичные рабочие процессы. Ограничения важны. Выходные данные генератора изображений не являются настоящим альбедо, поскольку они обычно содержат запеченные тени и блики, которые выглядят неправильно при реальном освещении; удовольствие необходимо. Нормы, оцененные по фотографии, — это правдоподобные предположения, а не измерения. При рисовании с несколькими видами могут оставаться видимые швы, размытие или несогласованные детали между видами. А сгенерированные наборы карт могут быть физически непоследовательными, например, металлические оттенки на окрашенном дереве.

Реальная реализация

Художник по окружению фотографирует состаренную кирпичную стену, превращает ее в мозаичный материал с картами альбедо, нормалей, высоты и шероховатости и использует его на всем уровне.

Одиночный разработчик игры предлагает инструменту текстурирования с «ржавым научно-фантастическим грузовым ящиком, потертой желтой краской» нарисовать сетку ящика, а затем исправляет видимый шов, где встречаются два сгенерированных вида.

Любитель 3D-печати текстурирует фигурку для рендеринга портфолио и замечает, что в сгенерированной цветовой карте есть запеченные тени, которые при новом освещении выглядят неправильно, поэтому он делает восхитительный шаг.

Технический художник импортирует сгенерированные карты в игровой движок и обнаруживает, что неровности выглядят инвертированными, что связано с несоответствием соглашений об обычных картах OpenGL и DirectX.

Будущее генерации текстур с помощью искусственного интеллекта для 3D-моделей

Исследования сосредоточены на создании текстур непосредственно в УФ- или 3D-пространстве, чтобы уменьшить швы при просмотре, создавать полные наборы PBR, а не освещенные цветные изображения, и лучше отделять освещение от цвета поверхности. Вероятна более тесная интеграция с инструментами моделирования и играми, а также контроль над износом, возрастом и регионами материала. Созданные материалы по-прежнему будут нуждаться в проверке человеком там, где важна физическая точность, например, при визуализации продукта или съемке фильма. Как и в случае с другими генеративными инструментами, условия лицензирования обучающих данных и условий коммерческого использования варьируются в зависимости от поставщика и требуют проверки перед использованием в поставляемых продуктах.

Применение на практике

Почему это важно

  • Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
  • Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
  • Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.

Следите за

  • Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
  • Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
  • Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.

Следующие шаги

  1. Определите критерии приемки точности, стоимости отзыва и ошибок.
  2. Тестируйте с данными, которые соответствуют реальным производственным условиям.
  3. Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
  4. Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the AI Texture Generation for 3D Models quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое генерация текстур AI для 3D-моделей?

Генерация текстур ИИ использует модели, в основном основанные на диффузии, для создания бесшовных материалов физически обоснованного рендеринга (PBR), таких как альбедо, карты нормалей и шероховатостей, или для рисования текстур непосредственно на 3D-сетке из текстовой подсказки или изображения. Он заменяет большую часть медленной ручной работы по фотографированию, покраске и облицовке материалов. Это важно для игровых художников, 3D-дизайнеров и любителей, но результаты требуют проверки, поскольку сгенерированные карты представляют собой правдоподобные оценки, а не измеренные свойства поверхности.

Что представляет собой карта альбедо или базового цвета в материале PBR?

Альбедо сохраняет собственный цвет поверхности, а движок добавляет освещение во время рендеринга.

Что кодирует карта нормалей?

Карта нормалей хранит направления поверхности для каждого пикселя, поэтому освещение реагирует так, как если бы присутствовали мелкие неровности, без дополнительной геометрии.

Что контролирует карта шероховатости?

Низкая шероховатость дает резкие, зеркальные отражения; высокая шероховатость придает им матовый вид.

Какой метод помогает создать бесшовную текстуру?

Заполнение Wraparound заставляет сеть рассматривать ребра как соединенные, поэтому левое ребро продолжается в правое.

Как такие методы, как TEXTure и Text2Tex, текстурируют сетку?

Эти методы рисуют вид сетки за видом, используя наведение по глубине, затем проецируют обратно в текстуру и заполняют недостающие области.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →