ГЛИГЕН Заземленное поколение

It turns vague text-to-image into precise, layout-controllable synthesis.

Стандартные модели преобразования текста в изображение испытывают затруднения с пространственным контролем: попросите «кошку слева от собаки», и вы часто ошибаетесь в размещении. GLIGEN, представленный в 2023 году, решает эту проблему путем добавления базовых входных данных, таких как ограничивающие рамки в сочетании с текстовыми или графическими объектами, ключевыми точками или эталонными изображениями. Что особенно важно, он замораживает веса исходной предварительно обученной диффузионной модели и вводит новые обучаемые закрытые слои самообслуживания, которые поглощают жетоны заземления. Это означает, что он основывается на такой модели, как «Стабильная диффузия», не разрушая полученные знания, а гейтирование начинается около нуля, поэтому поведение базовой модели сохраняется на ранних этапах обучения. Результатом является обоснованная генерация в открытом мире: вы можете размещать произвольные описанные объекты в определенных местах, и это обобщает концепции и макеты, которые не были замечены во время заземления.