ДалееСледующее руководство
Предвзятость в алгоритмах модерации контента
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
Смещение из-за инвалидности в ИИ может возникнуть, когда система неправильно интерпретирует, исключает или стереотипизирует человека с инвалидностью, однако инвалидность крайне разнородна и ни один единый эталон не охватывает все состояния.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Недавние исследования измерили различия в ответах LLM, описаниях, генерируемых ИИ, и запросах при найме; их выводы зависят от версий моделей, категорий инвалидности и экспериментальных настроек.
Disability is not one demographic variable. Blindness, deafness, chronic illness, mobility impairment, neurodivergence and speech disability can affect different interactions, and people within each group have varied preferences and support needs. Bias can arise through inaccessible interfaces, proxy features, missing training examples, or model outputs that associate disability with lower competence. It can also occur when an automated assessment treats one communication style as the only valid way to show ability. A 2024 Archives of Physical Medicine and Rehabilitation study tested ChatGPT and Gemini with generated descriptions of people, patients and athletes. It found that the systems underestimated disability in their generated sample and, in language analysis, described disabled people with fewer favorable qualities and more limitations. The study was an observational prompt experiment using 2023 versions; it does not establish how every current model behaves or how disabled people experience every deployment. A 2025 EMNLP paper introduced AccessEval, testing 21 open and closed models across six real-world domains and nine disability types with paired neutral and disability-aware queries. The authors reported more negative tone, higher factual error and greater stereotyping in disability-aware responses, with variation by domain and disability type; hearing, speech and mobility contexts were especially affected in their benchmark. A separate 2024 ASSETS interview study spoke with 30 people with disabilities about real-life chatbot use and needs. These studies show evidence of risks as well as use cases, but neither justifies broad conclusions about all disabled users or all AI. U.S. employers must also comply with the ADA when using software in hiring and employment; automation does not remove accommodation obligations.
Инструмент видеособеседования оценивает скорость речи и зрительный контакт, поэтому работодатель проверяет, влияют ли различия в коммуникации, связанные с инвалидностью, на оценки, не связанные с задачами работы.
Система контроля экзаменов отмечает атипичное движение, а школа предоставляет путь для человеческого обзора и доступную альтернативу.
Генератор текста описывает человека с инвалидностью, используя язык, ориентированный на дефицит, что побуждает рецензента проверить, не стирает ли вывод агентство или контекст.
Пользователь с экранным чтецом сообщает, что интерфейс, поддерживаемый ИИ, имеет неконтролируемые элементы управления, поэтому команда продукта тестирует рабочий процесс с пользователями с инвалидностью.
Исследования движутся к оценке, руководимой лицами с инвалидностью, более широкому охвату бенчмарков и тестированию в реальных рабочих и сервисных контекстах. Новые версии моделей могут изменить результаты, поэтому организации должны переоценивать после обновлений и привлекать людей с инвалидностью к проектированию, закупкам, тестированию и исправлению. Будущая оценка должна сообщать версии моделей, популяции исследований и измеренные результаты, чтобы результаты можно было сравнивать без обобщения за пределы доказательств. Приоритеты исследований включают совместное проектирование, доступный сбор данных и оценку вспомогательных преимуществ наряду с вредом, в разных сообществах инвалидов. Измеряйте изменения с пользователями.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Смещение в отношении инвалидности в ИИ может возникнуть, когда система неправильно воспринимает, исключает или стереотипизирует человека с инвалидностью, но инвалидность крайне разнородна, и ни один единый бенчмарк не охватывает все состояния. Недавние исследования измеряли различия в ответах больших языковых моделей, описаниях, созданных ИИ, и запросах для найма; их выводы зависят от версии модели, категорий инвалидности и экспериментальных условий.
Исследование сравнивало сгенерированные описания и язык о людях, пациентах и спортсменах с инвалидностью и без неё.
Исследование оценивало ChatGPT и Gemini с помощью определённого эксперимента с подсказками; его результаты не представляют все текущие модели или контексты.
AccessEval сообщает об оценке 21 модели по девяти типам инвалидности и шести областям.
В статье представлены эти сравнительные шаблоны с вариациями в зависимости от модели, области и типа инвалидности.
Исследование ASSETS опросило 30 человек, представляя собой качественную выборку для понимания опыта, а не для оценки распространённости в популяции.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Предвзятость в алгоритмах модерации контента
Общество