ДалееСледующее руководство
Генераторы изображений AI в художественном классе
Визуальный ИИ
РУКОВОДСТВО ПО ОБЩЕСТВУ
Генераторы изображений на базе ИИ часто воспроизводят и преувеличивают стереотипы, например, показывая в основном мужчин для запросов «CEO» или «инженер», людей со светлой кожей для высокопоставленных должностей и узкие стандарты красоты, поскольку они обучаются на больших, смещенных коллекциях изображений из интернета с подписями.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Исследователи измеряют это, генерируя множество изображений для нейтральных запросов и сравнивая, кто на них появляется. Это важно, потому что эти изображения теперь заполняют рекламу, учебники и новости, и как предвзятость, так и неуклюжие попытки ее исправить могут вводить людей в заблуждение.
Text-to-image models such as Stable Diffusion, Midjourney and DALL-E learn the link between words and pictures from huge datasets of image-caption pairs, largely scraped from the web; Stable Diffusion, for example, was trained on subsets of LAION-5B. The web over-represents some countries, languages, body types and occupations, and captions reflect the assumptions of whoever wrote them. The model then learns the most typical picture for a word and tends to amplify it, because generation favors high-probability, 'average' outputs. A prompt that says nothing about gender or ethnicity still produces a default, and that default is often the stereotype. Researchers measure this in a few ways. A common method is to generate hundreds of images for neutral prompts (occupations, adjectives like 'attractive' or 'poor', nationalities) and label perceived gender, skin tone or age, sometimes compared against labor statistics. Hugging Face researchers' 'Stable Bias' project (2023) used clustering of model outputs rather than assigning labels directly, partly because labeling someone's race from a picture is itself fraught. A 2023 Bloomberg analysis of thousands of Stable Diffusion images found that high-paying jobs skewed toward lighter-skinned men and low-paying jobs toward darker skin tones. Fixes are harder than they look. In 2022 OpenAI said it applied a technique so DALL-E 2 produced more diverse people when prompts did not specify, widely reported to involve adding terms to prompts behind the scenes. In February 2024 Google paused Gemini's generation of images of people after it produced historically inaccurate images, such as racially diverse depictions of groups that were historically homogeneous. The lesson is that bias is not a single dial: a system must be representative where the prompt is open and accurate where the prompt is specific. A common misconception is that bias only comes from the training data; model design, filtering, captioning and post-training choices all shape the result too.
Учитель запрашивает у генератора изображений «ученого в лаборатории» двадцать раз и получает почти исключительно белых мужчин в халатах, после чего переписывает запрос, чтобы попросить показать конкретных, разнообразных людей.
Маркетинговая команда, генерирующая изображения «медсестры» и «врача», замечает, что инструмент постоянно изображает медсестер женщинами, а врачей — мужчинами, и добавляет этап проверки перед использованием изображений в кампании.
Журналист сравнивает результаты для запросов «дом в Нигерии» и «дом в Соединенных Штатах» и обнаруживает, что модель по умолчанию использует образы бедности для одного и пригородные дома для другого.
Пользователь запрашивает историческую сцену с участием конкретной группы и получает изображение, на котором добавлены демографические характеристики, которые исторически не присутствовали, демонстрируя, как исправление для разнообразия может привести к чрезмерной коррекции.
Ожидайте более стандартизированных бенчмарков предвзятости, большего количества раскрытия информации в карточках моделей и более контекстно-зависимых мер смягчения, которые различают открытые запросы и исторически или лично специфичные. Существует подлинное разногласие относительно правильной цели: соответствие текущей статистике реального мира может закрепить существующее неравенство, тогда как равномерное представительство может исказить реальность. Этот выбор — решение о ценностях, а не чисто техническое, и от организаций, вероятно, потребуют его объяснить. Пользователям все равно придется проверять сгенерированные изображения перед их публикацией, особенно в образовании и новостях.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Генераторы изображений на базе ИИ часто воспроизводят и преувеличивают стереотипы, например, показывая в основном мужчин для запросов «CEO» или «инженер», людей со светлой кожей для высокопоставленных должностей и узкие стандарты красоты, поскольку они обучаются на больших, смещенных коллекциях изображений из интернета с подписями. Исследователи измеряют это, генерируя множество изображений для нейтральных запросов и сравнивая, кто на них появляется. Это важно, потому что эти изображения теперь заполняют рекламу, учебники и новости, и как предвзятость, так и неуклюжие попытки ее исправить могут вводить людей в заблуждение.
Без конкретных указаний модель производит результат с высокой вероятностью по умолчанию, и этот результат отражает и часто усиливает стереотипы в ее обучающих данных.
Наборы данных, такие как LAION-5B, содержат миллиарды пар «изображение-текст», собранных из веба, которые несут в себе дисбалансы интернета.
Исследователи генерируют сотни изображений по нейтральному запросу и анализируют воспринимаемые атрибуты, иногда сопоставляя их со статистикой реального мира.
Определение расы по внешности ненадежно и этически проблематично, поэтому кластеризация результатов стала способом сравнения моделей без навязывания меток.
Анализ показал, что высокооплачиваемые профессии смещены в сторону светлокожих мужчин, а низкооплачиваемые — в сторону более темных оттенков кожи.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Генераторы изображений AI в художественном классе
Визуальный ИИ