Викторина, связанная с руководством · Жесткий Уровень
Метрики справедливости искусственного интеллекта: тест на демографический паритет и уравнивание шансов
Проверяется демографический паритет, равные возможности и уравненные шансы на примере проработанного кредита, результатах невозможности и инструментах Fairlearn и AIF360.
Вопрос 1 из 8
В примере кредита, приведенном в руководстве, доля выбора группы A составляет 40%, а доля выбора группы B — 20%. Какой показатель это нарушает?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- В примере кредита, приведенном в руководстве, доля выбора группы A составляет 40%, а доля выбора группы B — 20%. Какой показатель это нарушает?
- Равные возможности
- Демографический паритет
- Калибровка
- Индивидуальная справедливость
- Равные возможности требуют, какое количество будет равным во всех группах?
- Ложноположительный показатель
- Скорость отбора
- Истинно положительный показатель
- Положительная прогностическая ценность
- Что добавляют уравненные шансы помимо равных возможностей?
- Равные проценты ложных срабатываний
- Равные ставки отбора
- Равные размеры групп
- Равные базовые ставки
- В этом примере уровень ложноположительных результатов в группе Б составляет 6 из 80. Почему знаменатель равен 80?
- Это количество одобренных заявок.
- Это общая численность обеих групп.
- Это 100 минус 20 одобренных кандидатов.
- Это количество заявителей группы B, которые не будут выплачивать долг.
- Что означают невозможности, полученные Чоулдеховой и Кляйнбергом и др. сказать?
- Ни одна модель не может быть точной для более чем одной группы.
- Когда базовые ставки различаются, несовершенный классификатор не может обеспечить прогнозируемую четность или калибровку вместе с равными показателями ложноположительных и ложноотрицательных результатов.
- Демографический паритет всегда подразумевает равные шансы
- Метрики справедливости применимы только к линейным моделям.
- Почему удаление защищенного атрибута из входных данных не гарантирует справедливости?
- Модели всегда автоматически добавляют атрибут обратно.
- Законы требуют включения атрибута
- Связанные прокси, такие как почтовый индекс, могут нести одну и ту же информацию.
- Удаление функций всегда снижает точность до нуля.
- Какой метод выбирает пороговые значения для конкретной группы, иногда рандомизированные, чтобы уравнять уровни истинных и ложных положительных результатов?
- Постобработка Хардта и др., доступная как ThresholdOptimizer от Fairlearn.
- AIF360 Повторное взвешивание
- Регуляризация отсева
- Анализ главных компонентов
- Почему показатели справедливости следует сообщать с доверительными интервалами и для пересекающихся подгрупп?
- Потому что правило четырех пятых требует ровно трех десятичных знаков.
- Потому что интерсекциональные группы всегда имеют одинаковые показатели
- Поскольку Fairlearn не может рассчитывать точечные оценки
- Потому что небольшие группы делают оценки ставок зашумленными, и модель может выглядеть справедливо по отдельным атрибутам, но не в состоянии работать по нескольким из них.