ДалееСледующее руководство
Предвзятость к автоматизации: слишком сильно доверять машинам
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
Оценивание ИИ может воспроизводить или вносить различия в способах оценки работы учащихся, особенно если данные обучения, критерии или подсказки модели не отражают весь спектр учащихся.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Различия в подгруппах являются поводом для изучения оценки, а не доказательством ее предвзятости или справедливости.
Automated essay scoring systems can estimate a score from word choice, grammar, organization, argument structure, prompt relevance, or patterns learned from scored examples. A model may align with human ratings on an overall sample while behaving differently for particular writing styles or student groups. Some students use dialects, multilingual structures, assistive technology, or alternative communication patterns that an evaluation set may underrepresent. Do not treat every score difference as proof of discrimination, and do not treat a high agreement average as proof of fairness. Check the rubric, prompt, sample composition, score distribution, and error types. Review whether the tool rewards length, vocabulary, spelling, or formulaic structures more than the learning objective requires. Compare model scores with trained human ratings and inspect cases where raters disagree. For important decisions, keep a qualified teacher in the review loop and provide a process for students to ask questions or correct a record. Recent research has examined how the demographic composition of training data affects fairness in fine-tuned LLM essay scoring on a particular essay corpus. Findings are specific to the models, data, and evaluation design studied; they do not establish how another classroom’s system will behave. Schools should test the actual tool, prompts, grade levels, languages, and writing assignments they use. Report sample sizes, uncertainty, and limitations. If a model’s feedback discourages a student or misreads the content, correct the assessment and examine the cause before expanding use.
Сравните оценки и отзывы эссе, по-разному выражающих одни и те же критерии рубрики.
Проверьте, как рубрика учитывает грамматику многоязычных учащихся и качество аргументации.
Просмотрите различия в баллах по подгруппам с учетом размера выборки и неопределенности.
Попросите учителей просмотреть эссе, в которых оценки модели и людей не совпадают.
Инструменты оценки эссе продолжат добавлять генеративную обратную связь и объяснения на основе рубрик. Эти дополнения могут облегчить обсуждение оценки, но не делают ее более достоверной сами по себе. Школы должны сохранять записи учащихся и данные по критериям, тестировать новые версии перед использованием и предоставлять преподавателям право корректировать оценки. Исследования будут продолжаться по сравнению моделей, оценщиков и различных образцов письма. Практическим приоритетом является прозрачное, ориентированное на обучение оценивание с четким человеческим подходом к рассмотрению и апелляции для каждого учащегося.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Оценивание ИИ может воспроизводить или вносить различия в способах оценки работы учащихся, особенно если данные обучения, критерии или подсказки модели не отражают весь спектр учащихся. Различия в подгруппах являются поводом для изучения оценки, а не доказательством ее предвзятости или справедливости.
Совокупное согласие может скрывать различия в ошибках подгрупп или поведении оценок.
Система оценки может оценивать функции иначе, чем предполагалось.
Случаи разногласий помогают выявить слабые места в процессе выставления оценок.
Совпадающие задачи и критерии делают сравнение более содержательным.
Сама по себе корреляция не показывает, что каждая группа или тип ошибки обрабатываются одинаково.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Предвзятость к автоматизации: слишком сильно доверять машинам
Общество