Викторина, связанная с руководством · Жесткий Уровень

Метрики справедливости искусственного интеллекта: тест на демографический паритет и уравнивание шансов

Проверяется демографический паритет, равные возможности и уравненные шансы на примере проработанного кредита, результатах невозможности и инструментах Fairlearn и AIF360.

Связанные направляющие путиОбъяснение показателей справедливости ИИ
Вопрос 1 из 8

В примере кредита, приведенном в руководстве, доля выбора группы A составляет 40%, а доля выбора группы B — 20%. Какой показатель это нарушает?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. В примере кредита, приведенном в руководстве, доля выбора группы A составляет 40%, а доля выбора группы B — 20%. Какой показатель это нарушает?
    • Равные возможности
    • Демографический паритет
    • Калибровка
    • Индивидуальная справедливость
  2. Равные возможности требуют, какое количество будет равным во всех группах?
    • Ложноположительный показатель
    • Скорость отбора
    • Истинно положительный показатель
    • Положительная прогностическая ценность
  3. Что добавляют уравненные шансы помимо равных возможностей?
    • Равные проценты ложных срабатываний
    • Равные ставки отбора
    • Равные размеры групп
    • Равные базовые ставки
  4. В этом примере уровень ложноположительных результатов в группе Б составляет 6 из 80. Почему знаменатель равен 80?
    • Это количество одобренных заявок.
    • Это общая численность обеих групп.
    • Это 100 минус 20 одобренных кандидатов.
    • Это количество заявителей группы B, которые не будут выплачивать долг.
  5. Что означают невозможности, полученные Чоулдеховой и Кляйнбергом и др. сказать?
    • Ни одна модель не может быть точной для более чем одной группы.
    • Когда базовые ставки различаются, несовершенный классификатор не может обеспечить прогнозируемую четность или калибровку вместе с равными показателями ложноположительных и ложноотрицательных результатов.
    • Демографический паритет всегда подразумевает равные шансы
    • Метрики справедливости применимы только к линейным моделям.
  6. Почему удаление защищенного атрибута из входных данных не гарантирует справедливости?
    • Модели всегда автоматически добавляют атрибут обратно.
    • Законы требуют включения атрибута
    • Связанные прокси, такие как почтовый индекс, могут нести одну и ту же информацию.
    • Удаление функций всегда снижает точность до нуля.
  7. Какой метод выбирает пороговые значения для конкретной группы, иногда рандомизированные, чтобы уравнять уровни истинных и ложных положительных результатов?
    • Постобработка Хардта и др., доступная как ThresholdOptimizer от Fairlearn.
    • AIF360 Повторное взвешивание
    • Регуляризация отсева
    • Анализ главных компонентов
  8. Почему показатели справедливости следует сообщать с доверительными интервалами и для пересекающихся подгрупп?
    • Потому что правило четырех пятых требует ровно трех десятичных знаков.
    • Потому что интерсекциональные группы всегда имеют одинаковые показатели
    • Поскольку Fairlearn не может рассчитывать точечные оценки
    • Потому что небольшие группы делают оценки ставок зашумленными, и модель может выглядеть справедливо по отдельным атрибутам, но не в состоянии работать по нескольким из них.