ДалееСледующее руководство
Западноцентричный уклон в больших языковых моделях
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
Языковые модели могут воспроизводить гендерные ассоциации, найденные в обучающих текстах, от стереотипов в векторных представлениях слов до гендерных завершений, переводов и рекомендаций по трудоустройству.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Эксперименты показывают, что результаты зависят от модели, подсказки, задачи и используемых демографических сигналов; результат бенчмарка не следует рассматривать как доказательство для каждой модели или реального решения.
Gender bias in language technology is not one failure mode. Word embeddings encode associations between words from their training corpora. Bolukbasi and colleagues’ 2016 study showed that embedding relationships could reflect occupational stereotypes and proposed a method to remove some gender associations, while noting that not all gender information is undesirable or separable. Coreference systems can also resolve pronouns using learned associations: the WinoBias benchmark tests stereotypical and anti-stereotypical sentences to measure errors in linking pronouns to occupations. Machine translation can add gender where a source language leaves it unspecified; benchmark research has tested gendered translations across occupations and languages. Language models add generative and decision-support risks. A 2024 EMNLP study used GPT-3.5-Turbo and Llama 3-70B-Instruct to simulate hiring and salary recommendations with 320 first names signaling race and gender across 40 occupations and more than 750,000 prompts. The authors reported a preference for White female-sounding names in hiring recommendations in that experimental setup and subgroup salary recommendations that differed by as much as 5% despite identical qualifications. This does not establish hiring behavior across deployed systems, and name signals combine gender and race; it does show why controlled testing should vary one factor at a time and report the test design. Gender itself is not always binary, and a model may fail to represent nonbinary identities or add assumptions absent from the prompt. Evaluation should distinguish a stereotype benchmark, a translation error, and an actual employment decision. Results depend on model version, language, prompt, sampling and occupation mix. Removing all gender-associated information can also damage legitimate content such as identity-specific language. Fairness work therefore requires a specified use case and documented trade-offs rather than a claim that one debiasing method eliminates gender bias.
Переводчик передаёт гендерно‑нейтральное предложение о докторе на английский и добавляет «he», хотя в исходнике пол не указан.
Команда, пишущая резюме, тестирует одинаковые квалификации с именами, указывающими на пол, и проверяет, меняет ли её модель рекомендации по работе или предложения по зарплате.
Исследователь оценивает разрешение местоимений как на стереотипных, так и на контр‑стереотипных предложениях о профессиях, вместо того чтобы полагаться на один агрегированный показатель.
Контент‑команда задаётся вопросом, выводит ли генератор текста по умолчанию мужчин для ролей руководства и женщин для ролей ухода, затем корректирует подсказки и проверяет результаты.
Больше исследований тестируют многоязычные и интерсекциональные гендерные ассоциации по мере изменения архитектур моделей и продуктов. Командам следует повторно проводить репрезентативные оценки после обновления моделей и включать небинарные идентичности, где задача и согласие позволяют. Публичные бенчмарки и парные подсказки помогают, но реальные результаты всё равно требуют отдельного мониторинга. Будущие оценки должны указывать версии моделей, популяции исследования и измеренные результаты, чтобы их можно было сравнивать без обобщения за пределы доказательств. Независимые аудиты также должны проверять интерсекциональные категории и языки, выходящие за рамки наиболее изученных наборов данных на английском языке.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Языковые модели могут воспроизводить гендерные ассоциации, найденные в обучающих текстах, от стереотипов в векторных представлениях слов до гендерных завершений, переводов и рекомендаций по трудоустройству. Эксперименты показывают, что результаты зависят от модели, подсказки, задачи и используемых демографических сигналов; результат бенчмарка не следует рассматривать как доказательство для каждой модели или реального решения.
В исследовании использовалось 320 имён, сильно сигнализирующих о расе и гендере, вместе с квалификациями кандидатов в симулированных рекомендациях по трудоустройству.
Исследование использовало имена, сигнализирующие о расе и гендере, в симулированной задаче; его результаты не являются опросом реальных работодателей.
WinoBias был разработан для тестирования гендерных предубеждений в кореференции с использованием стереотипных и анти‑стереотипных примеров профессий.
Исследования гендерных предубеждений в машинном переводе изучают добавление гендера в переводе из гендерно‑нейтрального исходного текста.
Болукбази и др. отмечают, что не вся информация о поле является нежелательной или отделимой от другого семантического содержания.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Западноцентричный уклон в больших языковых моделях
Общество