Викторина, связанная с руководством · Средний Уровень

Предвзятость в викторине по оценке ИИ

Тесты оценивают валидность, согласованность подгрупп, согласованность рубрик, человеческую проверку, анализ разногласий, пределы доказательств и исправление учащихся.

Связанные направляющие путиПредвзятость в оценке ИИ
Вопрос 1 из 8

Модель оценки в целом согласуется с учителями. Что это говорит о каждой подгруппе студентов?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Модель оценки в целом согласуется с учителями. Что это говорит о каждой подгруппе студентов?
    • Все группы получают одинаковые баллы
    • Что модель справедлива для любой письменной задачи.
    • Что учителя могут перестать проверять оценки
    • Он сам по себе не обеспечивает равную производительность или частоту ошибок во всех подгруппах.
  2. Грамматика многоязычного студента отличается от примеров на обучении. Что должны изучить рецензенты?
    • Определяет ли рубрика намеченную цель обучения или перевешивает языковую форму
    • Следует ли исключить учащегося из подсчета баллов
    • Сможет ли модель переписать эссе
    • Использовался ли в задании компьютер
  3. Что означает разница в баллах в подгруппах сама по себе?
    • Доказательство того, что модель является дискриминационной
    • Сигнал к изучению оценки и контекста, а не полный вывод о предвзятости или справедливости.
    • Доказательство того, что модель справедлива
    • Доказательство того, что студент использовал ИИ
  4. Зачем проверять случаи, когда рейтинги ИИ и учителей расходятся?
    • Их следует удалить как выбросы
    • Они доказывают, что учитель не прав
    • Они могут выявить ошибки рубрик, подсказок или моделей, скрытые средним значением.
    • Они автоматически определяют правильную оценку
  5. Какое сравнение лучше всего поддерживает оценку справедливости?
    • Сравните разные подсказки с разными учениками
    • Используйте только распределение оценок AI
    • Проверяйте только потери обучения модели
    • Сравните результаты модели и обученного человека по одной и той же подсказке и рубрике.
  6. Что еще может скрывать высокая корреляция между рейтингами ИИ и людей?
    • Систематические смещения оценок или различные шаблоны ошибок.
    • То, что баллы случайны
    • Рубрика не использовалась
    • Что ни у одного студента нет образца письма
  7. Что должен иметь студент, если оценка имеет решающее значение?
    • Только показатель достоверности модели
    • Способ задавать вопросы и требовать пересмотра или исправления.
    • Вторая модель, которую нельзя обжаловать
    • Правило, согласно которому первый результат является окончательным.
  8. Исследование справедливости оценивает модель оценки на одном корпусе эссе. Какой вывод может сделать школа?
    • Каждый оценщик ИИ имеет одинаковую предвзятость.
    • Инструмент одобрен для всех классов.
    • Результат отражает эту настройку, но школе все равно необходимо оценить свой собственный инструмент и учащихся.
    • Никакой другой оценки не требуется