Викторина, связанная с руководством · Средний Уровень
Предвзятость в викторине по оценке ИИ
Тесты оценивают валидность, согласованность подгрупп, согласованность рубрик, человеческую проверку, анализ разногласий, пределы доказательств и исправление учащихся.
Вопрос 1 из 8
Модель оценки в целом согласуется с учителями. Что это говорит о каждой подгруппе студентов?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Модель оценки в целом согласуется с учителями. Что это говорит о каждой подгруппе студентов?
- Все группы получают одинаковые баллы
- Что модель справедлива для любой письменной задачи.
- Что учителя могут перестать проверять оценки
- Он сам по себе не обеспечивает равную производительность или частоту ошибок во всех подгруппах.
- Грамматика многоязычного студента отличается от примеров на обучении. Что должны изучить рецензенты?
- Определяет ли рубрика намеченную цель обучения или перевешивает языковую форму
- Следует ли исключить учащегося из подсчета баллов
- Сможет ли модель переписать эссе
- Использовался ли в задании компьютер
- Что означает разница в баллах в подгруппах сама по себе?
- Доказательство того, что модель является дискриминационной
- Сигнал к изучению оценки и контекста, а не полный вывод о предвзятости или справедливости.
- Доказательство того, что модель справедлива
- Доказательство того, что студент использовал ИИ
- Зачем проверять случаи, когда рейтинги ИИ и учителей расходятся?
- Их следует удалить как выбросы
- Они доказывают, что учитель не прав
- Они могут выявить ошибки рубрик, подсказок или моделей, скрытые средним значением.
- Они автоматически определяют правильную оценку
- Какое сравнение лучше всего поддерживает оценку справедливости?
- Сравните разные подсказки с разными учениками
- Используйте только распределение оценок AI
- Проверяйте только потери обучения модели
- Сравните результаты модели и обученного человека по одной и той же подсказке и рубрике.
- Что еще может скрывать высокая корреляция между рейтингами ИИ и людей?
- Систематические смещения оценок или различные шаблоны ошибок.
- То, что баллы случайны
- Рубрика не использовалась
- Что ни у одного студента нет образца письма
- Что должен иметь студент, если оценка имеет решающее значение?
- Только показатель достоверности модели
- Способ задавать вопросы и требовать пересмотра или исправления.
- Вторая модель, которую нельзя обжаловать
- Правило, согласно которому первый результат является окончательным.
- Исследование справедливости оценивает модель оценки на одном корпусе эссе. Какой вывод может сделать школа?
- Каждый оценщик ИИ имеет одинаковую предвзятость.
- Инструмент одобрен для всех классов.
- Результат отражает эту настройку, но школе все равно необходимо оценить свой собственный инструмент и учащихся.
- Никакой другой оценки не требуется