ДалееСледующее руководство
Как создавать критерии оценивания и тесты с помощью ИИ
Приложения
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ
Выставление оценок и обратная связь с помощью ИИ означает использование ИИ для составления комментариев на основе рубрик и предлагаемых оценок за работы учащихся, которые учитель просматривает, редактирует и утверждает.
Это важно, поскольку обратная связь — одна из самых трудоемких частей обучения, а оценка ИИ может быть непоследовательной или предвзятой, поэтому окончательные решения должен оставаться за учителем.
ИИ может помочь в двух разных задачах: писать отзывы и предлагать оценки. Составление обратной связи более безопасно и полезно. Учитывая четкую рубрику и часть студенческой работы, модель может создавать конкретные комментарии, привязанные к каждому критерию, быстрее, чем большинство людей могут их напечатать. Начисление баллов более рискованно, поскольку число попадает в журнал оценок и напрямую влияет на учащихся. Хорошо известны некоторые проблемы с точностью. Результаты могут меняться между прогонами одного и того же эссе. Модели могут вознаграждать за длину и отточенный словарный запас больше, чем за рассуждения. Их можно поколебать уверенным тоном. И они могут придумывать доказательства, хваля или критикуя предложения, которых нет в работе ученика. Структурированные подсказки и обзор учителя улавливают большую часть этого, но не в том случае, если учитель только бегло просматривает. Справедливость – это отдельная тема. Письмо, написанное изучающими английский язык, или на диалектах, отличных от стандартного академического английского, может оцениваться более строго по поверхностным особенностям. Детекторы записи ИИ — это похожая ловушка. Они ненадежны, и исследования показали, что некоторые детекторы непропорционально часто выявляют писателей, не являющихся носителями английского языка. Результаты детектора не должны быть основанием для обвинения. Некоторые инструменты оценки используют более ограниченный ИИ. Например, Gradescope может группировать похожие ответы, чтобы учитель оценивал каждую группу один раз. Учитель по-прежнему определяет оценку, а сортировку осуществляет ИИ. Конфиденциальность также применяется. Студенческая работа является частью учебного процесса. В Соединенных Штатах порядок действий регулируется FERPA, поэтому используйте одобренные округом инструменты и удаляйте имена там, где это возможно. Основное заблуждение заключается в том, что оценка ИИ является объективной, поскольку она автоматизирована. Он применяет закономерности, извлеченные из данных, включая предвзятость этих данных. Работоспособная модель — это ИИ для черновиков, учитель для принятия решений и честность с учениками в отношении того, как была получена обратная связь. Лучше всего это работает для частой формирующей обратной связи с низкой ставкой, а не для итоговых оценок.
Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.
Платформы обучения встраивают обратную связь с ИИ в рабочие процессы выполнения заданий, и все больше округов, скорее всего, будут публиковать правила о том, когда ИИ может предлагать оценки и что необходимо раскрывать учащимся и их семьям. Более совершенные инструменты калибровки и обратная связь, основанная на фактических данных, могут уменьшить некоторые проблемы с точностью, но вопросы о предвзятости и подотчетности не исчезнут только благодаря техническим исправлениям. Наиболее оправданным направлением является более частая и быстрая формирующая обратная связь, при которой учителя сохраняют власть над оценками. Независимые исследования воздействия на различные группы студентов будут иметь большее значение, чем заявления поставщиков.
Учитель английского языка дает ассистенту рубрику аргумента-эссе с четырьмя критериями и одно анонимное эссе, затем просит указать две сильные стороны и один следующий шаг для каждого критерия, используя короткую цитату из эссе в качестве доказательства.
Учитель физики использует платформу выставления оценок, которая группирует похожие ответы на вопрос с коротким ответом, поэтому вся группа может получить одинаковую оценку и комментарий сразу после того, как учитель просмотрит их.
Учитель запускает набор черновиков класса через ИИ только для формирующей обратной связи, читает каждый комментарий перед его публикацией и удаляет тот, в котором хвалилась цитата, которую ученик никогда не писал.
Кафедра выполняет калибровку, заставляя ИИ оценивать пять опорных работ, которые уже оценили преподаватели, затем сравнивает оценки ИИ с согласованными оценками, прежде чем решить, использовать ли их для обратной связи.
Автоматизация сломанного процесса может усугубить существующие проблемы.
Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
Качество может ухудшиться, если результаты не будут оцениваться постоянно.
Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Выставление оценок и обратная связь с помощью ИИ означает использование ИИ для составления комментариев на основе рубрик и предлагаемых оценок за работы учащихся, которые учитель просматривает, редактирует и утверждает. Это важно, поскольку обратная связь — одна из самых трудоемких частей обучения, а оценка ИИ может быть непоследовательной или предвзятой, поэтому окончательные решения должен оставаться за учителем.
Составление обратной связи сопряжено с меньшим риском, чем выставление оценок, что напрямую влияет на журнал оценок.
Модели могут придумывать цитаты, поэтому важно сверять цитируемые доказательства с представленными.
Исследования выявили предвзятое отношение к писателям-иностранцам, поэтому оценка детектора не должна служить основанием для обвинений.
ИИ сортирует ответы, а учитель выставляет балл каждой группе.
Если модель должна цитировать доказательства, каждую цитату можно сверить с текстом учащегося.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Как создавать критерии оценивания и тесты с помощью ИИ
Приложения