РУКОВОДСТВО ПО ПРИМЕНЕНИЮ

ComfyUI и рабочие процессы обработки изображений на основе узлов

ComfyUI — это бесплатное приложение с открытым исходным кодом для запуска моделей генерации изображений, видео и аудио на вашем компьютере.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее ComfyUI и рабочих процессов обработки изображений на основе узлов
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Каждый шаг конвейера, например загрузка модели, кодирование приглашения, выборка и декодирование, представляет собой узел, который вы подключаете к визуальному графику. Это важно, поскольку показывает, как именно работает распространение, делает сложные рабочие процессы воспроизводимыми и доступными для совместного использования, а также позволяет людям запускать открытые модели на собственном оборудовании без облачного сервиса.

Глубокое погружение

ComfyUI появился в начале 2023 года и был создан разработчиком, известным как comfyanonymous. Он стал одним из наиболее широко используемых интерфейсов для открытых генеративных моделей, поддерживая варианты Stable Diffusion, Flux и многие видео- и аудиомодели. Вместо формы с ползунками вы видите сам конвейер. Минимальный график преобразования текста в изображение показывает каждую часть модели скрытого распространения. Load Checkpoint выводит три вещи: модель шумоподавления, текстовый кодер CLIP и VAE. Два узла CLIP Text Encode преобразуют положительные и отрицательные подсказки в условия. Empty Latent Image создает начальный шумовой холст выбранного размера. KSampler запускает цикл шумоподавления, используя начальное значение, количество шагов, шкалу руководства (CFG), сэмплер и планировщик. VAE Decode преобразует окончательную скрытую информацию в пиксели, а функция «Сохранить изображение» записывает файл. Рассмотрение этих шагов по отдельности проясняет другие идеи. Например, преобразование изображения в изображение начинается с закодированного изображения и его шумоподавление происходит лишь частично. Графики сохраняются в формате JSON и встраиваются в создаваемые ими изображения, поэтому результаты можно воспроизвести. ComfyUI также кэширует результаты и повторно запускает только те узлы, входные данные которых изменились, поэтому редактирование приглашения не перезагружает модель. Аппаратное обеспечение является основным ограничением. Графические процессоры NVIDIA имеют лучшую поддержку. Около 8 ГБ видеопамяти обычно называют комфортным минимумом для работы класса SDXL, а модели с большими изображениями или видео получают выгоду от 12 до 24 ГБ или более, хотя квантовые модели и разгрузка памяти помогают. AMD, Intel и Apple Silicon могут работать с дополнительными настройками и более низкой скоростью, а использование только процессора происходит очень медленно. Пользовательские узлы значительно расширяют ComfyUI, но каждый из них представляет собой код Python, который запускается с разрешениями вашей учетной записи пользователя. Сообщалось о случаях кражи данных вредоносными пакетами узлов. Устанавливайте только хорошо известные, активно поддерживаемые узлы, отдавайте предпочтение файлам моделей .safetensors файлам .ckpt на основе Pickle и рассмотрите возможность запуска ComfyUI в отдельной среде или контейнере.

Реальная реализация

Дизайнер перетаскивает PNG, созданный коллегой, в ComfyUI, и весь рабочий процесс, в ходе которого он был создан, автоматически загружается из встроенных метаданных файла.

Иллюстратор строит график, который генерирует базовое изображение с помощью SDXL, масштабирует его и запускает второй проход с низким уровнем шума для добавления деталей. Вся цепочка сохраняется как рабочий процесс многократного использования.

Фотограф добавляет узел ControlNet, который следует за позой на эталонной фотографии, сохраняя фиксированную композицию и одновременно меняя стиль.

Разработчик запускает ComfyUI в режиме API на сервере и отправляет JSON рабочего процесса из веб-приложения для создания макетов продукта по запросу.

Будущее ComfyUI и рабочих процессов обработки изображений на основе узлов

ComfyUI превратился из инструмента для любителей в общую среду выполнения для открытых генеративных моделей с настольным приложением и растущей поддержкой видео и 3D. Безопасность вокруг пользовательских узлов, вероятно, останется проблемой, и этому может помочь дополнительное подписание, проверка или изолированная программная среда расширений. Графики узлов могут напугать новичков, поэтому работа над упрощенными интерфейсами и шаблонами, скрывающими график до тех пор, пока он не понадобится, вероятно, будет продолжена. Требования к оборудованию будут продолжать соответствовать размерам моделей, а методы квантования и памяти продолжат расширять возможности потребительских графических процессоров.

Применение на практике

Почему это важно

  • Выбор сборки. Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
  • Команда и рабочий процесс. Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
  • Риски и безопасность. Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.

Следите за

  • Автоматизация сломанного процесса может усугубить существующие проблемы.
  • Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
  • Качество может ухудшиться, если результаты не будут оцениваться постоянно.

Следующие шаги

  1. Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
  2. Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
  3. Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
  4. Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the ComfyUI and Node-Based Image Workflows quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое ComfyUI и рабочие процессы обработки изображений на основе узлов?

ComfyUI — это бесплатное приложение с открытым исходным кодом для запуска моделей генерации изображений, видео и аудио на вашем компьютере. Каждый шаг конвейера, например загрузка модели, кодирование приглашения, выборка и декодирование, представляет собой узел, который вы подключаете к визуальному графику. Это важно, поскольку показывает, как именно работает распространение, делает сложные рабочие процессы воспроизводимыми и доступными для совместного использования, а также позволяет людям запускать открытые модели на собственном оборудовании без облачного сервиса.

Какой узел запускает цикл шумоподавления в базовом графе ComfyUI?

KSampler запускает итеративное шумоподавление, используя начальное число, шаги, шкалу CFG, сэмплер и планировщик.

Какие три компонента выводит Load Checkpoint?

Контрольная точка объединяет модель шумоподавления, текстовый кодер, который превращает подсказки в кондиционирование, и VAE, который преобразует скрытые данные в пиксели.

Как восстановить рабочий процесс, в ходе которого был создан образ ComfyUI?

ComfyUI сохраняет JSON рабочего процесса внутри создаваемых изображений, поэтому загрузка изображения перестраивает график.

Почему изменение только приглашения не перезагружает модель?

Исполнитель проверяет кэш, привязанный к входам каждого узла. Входные данные Load Checkpoint не изменились, поэтому они пропускаются.

Каков основной риск безопасности пользовательских узлов?

Пользовательский узел может делать все, что может делать ваша учетная запись, поэтому сообщалось о случаях кражи данных вредоносными пакетами.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →