СледваСледващо ръководство
Генериране на текст към 3D
Визуален AI
РЪКОВОДСТВО за визуален AI
GLIGEN Заземено поколение
GLIGEN (Grounded-Language-to-Image Generation) ви позволява да контролирате точно къде се появяват обектите в генерирано изображение, като подавате ограничителните полета на модела и етикетите заедно с текстовата подкана.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It turns vague text-to-image into precise, layout-controllable synthesis.
Дълбоко гмуркане
Стандартните модели текст към изображение се борят с пространствения контрол: поискайте „котка отляво на куче“ и често грешите разположението. GLIGEN, въведен през 2023 г., решава това чрез добавяне на заземяващи входове, като например ограничаващи полета, съчетани с текстови или графични обекти, ключови точки или референтни изображения. Най-важното е, че той замразява теглата на оригиналния предварително обучен дифузионен модел и инжектира нови обучаеми затворени слоеве за самовнимание, които абсорбират заземяващите токени. Това означава, че се основава на модел като Stable Diffusion, без да унищожава наученото си знание, а стробирането започва близо до нула, така че поведението на базовия модел се запазва в началото на обучението. Резултатът е заземено генериране в отворен свят: можете да поставите произволно описани обекти на определени места и това се обобщава до концепции и оформления, които не са виждани по време на обучението за заземяване.
Внедряване в реалния свят
Поставяне на лого или продукт в точен регион на генерирана реклама с помощта на ограничителна кутия
Композиране на сложни сцени чрез указване къде трябва да седи всеки герой или обект преди рендиране
Генериране на тренировъчни данни за откриване на обекти с известни местоположения на кутията за истина на земята
Рисуване на описан обект в начертан от потребителя регион на съществуваща снимка
Бъдещето на GLIGEN Grounded Generation
Заземеното и контролирано от оформлението генериране се превръща в стандарт в производствените инструменти. Очаквайте пространственото кондициониране в стил GLIGEN да се слее с други методи за контрол, като ControlNet и регионално подсказване, и да се разшири във видео и 3D, където разположението на обектите във времето и пространството има още по-голямо значение. Тъй като моделите възприемат интерфейси, следващи инструкции, управлението на оформлението с плъзгане и пускане и графиките на сцени, определени от език, ще направят прецизната композиция достъпна без бързи инженерни трикове.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
- Избор на билдове. Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
- Екип и работен процес. Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Внимавайте за
- Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
- Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
- Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Следващи стъпки
- Определете критерии за приемане за прецизност, извикване и разходи за грешки.
- Тествайте с данни, които съответстват на реалните производствени условия.
- Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
- Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the GLIGEN Grounded Generation quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is GLIGEN Grounded Generation?
GLIGEN (Grounded-Language-to-Image Generation) ви позволява да контролирате точно къде се появяват обектите в генерирано изображение, като подавате ограничителните полета на модела и етикетите заедно с текстовата подкана. Той превръща неясния текст в изображение в прецизен, контролиран от оформлението синтез.
Какъв проблем основно решава GLIGEN?
GLIGEN добавя заземяващи входове като ограничаващи кутии, така че можете да контролирате точно къде са поставени обектите, които подканите с обикновен текст се справят зле.
Как GLIGEN запазва знанията за предварително обучения модел на дифузия?
GLIGEN замразява базовия модел и инжектира нови затворени слоеве за самовнимание, така че оригиналните научени знания остават непокътнати.
Какъв типичен вход за заземяване приема GLIGEN?
GLIGEN поддържа заземяване чрез ограничаващи полета с обекти текст/изображение, ключови точки и референтни изображения.
Защо портата в новите слоеве на вниманието на GLIGEN е инициализирана на нула?
Нулева инициализирана врата означава, че заземяването няма ефект първоначално, запазвайки оригиналния модел и поддържайки тренировката стабилна, докато контролът нараства.
Какво означава заземено поколение „отворен свят“ в GLIGEN?
GLIGEN обобщава отвъд набора си за обучение за заземяване, поставяйки нови описани обекти на определени места.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема