Авторегрессионная визуализация Parti Pathways

Parti представляет генерацию текста в изображение как моделирование последовательности в последовательность, аналогично переводу текстовой последовательности в другой тип последовательности. Целью является последовательность дискретных визуальных токенов, а не слов на втором языке. Токенизатор ViT-VQGAN кодирует обучающие изображения в эти токены, а его декодер может реконструировать изображения из последовательностей токенов. Модель преобразования текста в изображение использует кодировщик для представления приглашения и декодер для авторегрессионного создания токенов изображения. Каждое предсказание следующего токена зависит от текста и ранее сгенерированных токенов изображения. Эта зависимость требует последовательных шагов генерации; он сам по себе не определяет задержку каждой возможной реализации. Исследователи сравнили модели с 350 миллионами и 20 миллиардами параметров и сообщили о постоянном улучшении своих оценок. Эти результаты описывают их обученные модели и условия оценки, а не гарантируют, что увеличение любой модели всегда решает каждую проблему. Более крупная модель могла бы обрабатывать более сложные композиции, но документ документирует сбои и несоответствия, включая подсчет, привязку атрибутов, пространственные отношения и рендеринг текста. PartiPrompts — это выпущенный тест, содержащий более 1600 подсказок на английском языке по категориям и аспектам задач. Это оценочный ресурс, а не название всего набора обучающих данных или общедоступного приложения для создания изображений. Полезные сравнения позволяют изучить, что система выдала по запросу, что не удалось и какая конфигурация модели использовалась. Отдельные привлекательные примеры являются информативной демонстрацией, но ни пример, ни совокупный балл не гарантируют надежную работу при каждом новом запросе.