ДалееСледующее руководство
Оценка с помощью искусственного интеллекта Gradescope
Приложения
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ
Создание рубрик и тестов с помощью ИИ означает использование чат-бота для разработки четких критериев рубрик и банков вопросов с убедительными неверными вариантами, а затем проверку ключей ответов и тестирование вопросов на реальных учениках.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, потому что экономит часы разработки. Однако ключи ответов ИИ иногда ошибочны, а расплывчатые формулировки рубрик или неверные варианты делают оценку несправедливой.
Оценивание — это то место, где ошибки ИИ обходятся дороже всего, потому что неправильный ответ указывает на ошибку правильного ученика. Однако при осторожном использовании ИИ может ускорить две утомительные работы: написание описаний рубрик и создание банков вопросов. **Рубики** бывают двух основных форм. Целостная рубрика дает один общий балл. Аналитическая рубрика оценивает отдельные критерии, такие как тезисы, доказательства и организация, на нескольких уровнях и дает студентам более полезную обратную связь. Критерием хорошей оценки является то, смогут ли два оценщика получить одинаковую оценку. «Правильное использование доказательств» не проходит этот тест; «поддерживает каждое утверждение хотя бы одним соответствующим цитируемым источником». Попросите ИИ дать наблюдаемые описания с параллельными формулировками, чтобы каждый уровень отличался от другого одним четким образом. **Вопросы с несколькими вариантами ответов** остаются или падают из-за отвлекающих факторов — неправильных вариантов. Хороший отвлекающий фактор соблазняет студентов, у которых есть реальное заблуждение, но не тех, кто понимает материал. Установленные рекомендации по написанию заданий советуют вам: - избегать «всего вышеперечисленного» - избегать грамматических подсказок, которые выдают ответ - избегать или использовать умеренно негативные формулировки, такие как «Что НЕ есть» - не допускать, чтобы правильный вариант был заметно длиннее остальных. Скажите ИИ, чтобы он следовал этим правилам и основывал каждый отвлекающий фактор на конкретном заблуждении. Основными рисками являются неправильные ключи ответов, особенно в многоэтапных математических и естественных науках, а также двусмысленные вопросы с двумя обоснованными ответами. Модели также могут показывать предвзятость позиции, помещая правильный ответ в одно и то же место чаще, чем это было бы случайно, поэтому перетасуйте варианты. Полезная проверка — открыть новый чат без ключа и попросить модель ответить на каждый вопрос. Если ответы не совпадают с ключевыми, просмотрите вопрос вручную. Распространенным заблуждением является то, что метки сложности ИИ являются измерениями. Это предположения. Настоящая трудность возникает из-за того, как ученики на самом деле учатся, а вы узнаете это, только пробуя вопросы и анализируя результаты.
Преподаватель колледжа по письму запрашивает рубрику эссе с четырьмя уровнями, в которой отдельно оцениваются тезисы, доказательства, организация и механика письма. Каждый уровень должен описывать что-то, что может наблюдать оценщик, например, ссылается ли каждое утверждение на источник.
Учитель биологии вклеивает главу учебника и задает 20 вопросов с несколькими вариантами ответов. Каждый неправильный вариант должен быть основан на названном заблуждении учащегося и содержать однострочную причину, по которой он является неправильным.
Учитель математики открывает новый чат без ключа ответа и просит модель решить каждый написанный ею вопрос. Она вручную просматривает каждый пункт, в котором два ответа расходятся.
Корпоративный тренер пробует ответить на 12 сотрудников викторины из 15 вопросов, а затем отбрасывает те вопросы, на которые все ответили правильно. Он переписывает неправильные варианты, которые никто не выбрал.
Системы управления обучением и платформы оценки добавляют возможность написания вопросов с помощью ИИ к уже рассчитанной статистике вопросов, что может ускорить цикл составления, опробования и пересмотра. Оценка письменных работ по критериям с помощью искусственного интеллекта также распространяется, и она поднимает более серьезные вопросы о точности, предвзятости и привлекательности, чем написание вопросов. Какими бы ни были инструменты, ответственность за справедливую оценку лежит на том, кто ее дает. Хорошая практика, скорее всего, будет заключаться в использовании ИИ для составления и проверки, когда люди проверят ключи ответов и данные реальных студентов, решая, какие вопросы останутся.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Создание рубрик и тестов с помощью ИИ означает использование чат-бота для разработки четких критериев рубрик и банков вопросов с убедительными неверными вариантами, а затем проверку ключей ответов и тестирование вопросов на реальных учениках. Это важно, потому что экономит часы разработки. Однако ключи ответов ИИ иногда ошибочны, а расплывчатые формулировки рубрик или неверные варианты делают оценку несправедливой.
Аналитические рубрики оценивают такие критерии, как тезисы, доказательства и организация, отдельно, что дает более полезную обратную связь, чем одна целостная оценка.
В этом описании указывается то, что оценщик может наблюдать и проверять. Остальные полагаются на субъективные слова, такие как «хорошо», «отлично» или «сильно».
Отвлекающие устройства, основанные на реальных заблуждениях, отделяют понимающих учеников от тех, кто не понимает, а также показывают, какие заблуждения являются распространенными.
Если правильные ответы группируются в одном слоте, учащиеся, умеющие тестировать, могут использовать эту закономерность. Перетасовка удаляет эту подсказку.
При раздельном ответе выявляются случаи, когда ключ может быть неправильным или на вопрос есть два оправданных ответа. Затем вы просматриваете эти вопросы вручную.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Оценка с помощью искусственного интеллекта Gradescope
Приложения