Чому AI генератори зображень помиляються

Дифузійні моделі вчаться на мільярдах пар зображення-підпис, навчаючись усувати доданий шум. Вони дуже добре сприймають локальні візуальні візерунки: текстуру шкіри, освітлення, загальний вигляд руки. Чого вони ніколи не отримують, так це чіткого правила, що на руці є п’ять пальців, з’єднаних із долонею в певному порядку. Кілька факторів роблять руки жорсткими. На більшості фотографій руки займають невелику частину, тому на них мало пікселів. Моделі латентної дифузії, такі як Stable Diffusion, також зменшують зображення у вісім разів у кожному вимірі перед генерацією, що може залишити лише кілька прихованих клітин. Руки приймають величезну кількість поз, захоплюють об’єкти, накладаються одна на одну і часто частково приховані, тому навчальні дані повні неповних зображень. Пальці виглядають схожими, тому модель, що видає «пальці, пальці, пальці», не має сильного сигналу, який би повідомляв їй, коли зупинитися. Підписи майже ніколи не згадують руки, не кажучи вже про їхню позу, тому підказка мало вказівок. Результатом є набір знайомих помилок: зайві або відсутні пальці, злиті пальці, великі пальці на неправильному боці та руки, що розчиняються в предметах або інших людях. З подібних причин псуються зуби, вуха та прикраси. Новіші системи зменшили кількість таких збоїв. Допомогли більші моделі, вищі навчальні роздільності, краще відфільтровані та підписані дані, архітектури на основі трансформаторів і точне налаштування рейтингів уподобань людей. Версія 5 Midjourney у 2023 році була широко відзначена кращою роботою, а пізніші моделі з кількох лабораторій були вдосконалені. Але помилки нікуди не зникли, особливо в складних позах, натовпі та руках, що тримають речі. Поширеною помилкою є те, що модель «не може рахуватися». Точніше сказати, що він вивчає зовнішній вигляд статистично, а правильна структура виникає лише тоді, коли достатньо даних і ємності моделі.