ДалееСледующее руководство
Обнаружение отмывания денег в сфере торговли
Приложения
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ
ComfyUI — это бесплатное приложение с открытым исходным кодом для запуска моделей генерации изображений, видео и аудио на вашем компьютере.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Каждый шаг конвейера, например загрузка модели, кодирование приглашения, выборка и декодирование, представляет собой узел, который вы подключаете к визуальному графику. Это важно, поскольку показывает, как именно работает распространение, делает сложные рабочие процессы воспроизводимыми и доступными для совместного использования, а также позволяет людям запускать открытые модели на собственном оборудовании без облачного сервиса.
ComfyUI появился в начале 2023 года и был создан разработчиком, известным как comfyanonymous. Он стал одним из наиболее широко используемых интерфейсов для открытых генеративных моделей, поддерживая варианты Stable Diffusion, Flux и многие видео- и аудиомодели. Вместо формы с ползунками вы видите сам конвейер. Минимальный график преобразования текста в изображение показывает каждую часть модели скрытого распространения. Load Checkpoint выводит три вещи: модель шумоподавления, текстовый кодер CLIP и VAE. Два узла CLIP Text Encode преобразуют положительные и отрицательные подсказки в условия. Empty Latent Image создает начальный шумовой холст выбранного размера. KSampler запускает цикл шумоподавления, используя начальное значение, количество шагов, шкалу руководства (CFG), сэмплер и планировщик. VAE Decode преобразует окончательную скрытую информацию в пиксели, а функция «Сохранить изображение» записывает файл. Рассмотрение этих шагов по отдельности проясняет другие идеи. Например, преобразование изображения в изображение начинается с закодированного изображения и его шумоподавление происходит лишь частично. Графики сохраняются в формате JSON и встраиваются в создаваемые ими изображения, поэтому результаты можно воспроизвести. ComfyUI также кэширует результаты и повторно запускает только те узлы, входные данные которых изменились, поэтому редактирование приглашения не перезагружает модель. Аппаратное обеспечение является основным ограничением. Графические процессоры NVIDIA имеют лучшую поддержку. Около 8 ГБ видеопамяти обычно называют комфортным минимумом для работы класса SDXL, а модели с большими изображениями или видео получают выгоду от 12 до 24 ГБ или более, хотя квантовые модели и разгрузка памяти помогают. AMD, Intel и Apple Silicon могут работать с дополнительными настройками и более низкой скоростью, а использование только процессора происходит очень медленно. Пользовательские узлы значительно расширяют ComfyUI, но каждый из них представляет собой код Python, который запускается с разрешениями вашей учетной записи пользователя. Сообщалось о случаях кражи данных вредоносными пакетами узлов. Устанавливайте только хорошо известные, активно поддерживаемые узлы, отдавайте предпочтение файлам моделей .safetensors файлам .ckpt на основе Pickle и рассмотрите возможность запуска ComfyUI в отдельной среде или контейнере.
Дизайнер перетаскивает PNG, созданный коллегой, в ComfyUI, и весь рабочий процесс, в ходе которого он был создан, автоматически загружается из встроенных метаданных файла.
Иллюстратор строит график, который генерирует базовое изображение с помощью SDXL, масштабирует его и запускает второй проход с низким уровнем шума для добавления деталей. Вся цепочка сохраняется как рабочий процесс многократного использования.
Фотограф добавляет узел ControlNet, который следует за позой на эталонной фотографии, сохраняя фиксированную композицию и одновременно меняя стиль.
Разработчик запускает ComfyUI в режиме API на сервере и отправляет JSON рабочего процесса из веб-приложения для создания макетов продукта по запросу.
ComfyUI превратился из инструмента для любителей в общую среду выполнения для открытых генеративных моделей с настольным приложением и растущей поддержкой видео и 3D. Безопасность вокруг пользовательских узлов, вероятно, останется проблемой, и этому может помочь дополнительное подписание, проверка или изолированная программная среда расширений. Графики узлов могут напугать новичков, поэтому работа над упрощенными интерфейсами и шаблонами, скрывающими график до тех пор, пока он не понадобится, вероятно, будет продолжена. Требования к оборудованию будут продолжать соответствовать размерам моделей, а методы квантования и памяти продолжат расширять возможности потребительских графических процессоров.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
ComfyUI — это бесплатное приложение с открытым исходным кодом для запуска моделей генерации изображений, видео и аудио на вашем компьютере. Каждый шаг конвейера, например загрузка модели, кодирование приглашения, выборка и декодирование, представляет собой узел, который вы подключаете к визуальному графику. Это важно, поскольку показывает, как именно работает распространение, делает сложные рабочие процессы воспроизводимыми и доступными для совместного использования, а также позволяет людям запускать открытые модели на собственном оборудовании без облачного сервиса.
KSampler запускает итеративное шумоподавление, используя начальное число, шаги, шкалу CFG, сэмплер и планировщик.
Контрольная точка объединяет модель шумоподавления, текстовый кодер, который превращает подсказки в кондиционирование, и VAE, который преобразует скрытые данные в пиксели.
ComfyUI сохраняет JSON рабочего процесса внутри создаваемых изображений, поэтому загрузка изображения перестраивает график.
Исполнитель проверяет кэш, привязанный к входам каждого узла. Входные данные Load Checkpoint не изменились, поэтому они пропускаются.
Пользовательский узел может делать все, что может делать ваша учетная запись, поэтому сообщалось о случаях кражи данных вредоносными пакетами.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Обнаружение отмывания денег в сфере торговли
Приложения