РУКОВОДСТВО ПО ПРИМЕНЕНИЮ

Как создавать критерии оценивания и тесты с помощью ИИ

Создание рубрик и тестов с помощью ИИ означает использование чат-бота для разработки четких критериев рубрик и банков вопросов с убедительными неверными вариантами, а затем проверку ключей ответов и тестирование вопросов на реальных учениках.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее создания оценочных рубрик и викторин с помощью ИИ
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, потому что экономит часы разработки. Однако ключи ответов ИИ иногда ошибочны, а расплывчатые формулировки рубрик или неверные варианты делают оценку несправедливой.

Глубокое погружение

Оценивание — это то место, где ошибки ИИ обходятся дороже всего, потому что неправильный ответ указывает на ошибку правильного ученика. Однако при осторожном использовании ИИ может ускорить две утомительные работы: написание описаний рубрик и создание банков вопросов. **Рубики** бывают двух основных форм. Целостная рубрика дает один общий балл. Аналитическая рубрика оценивает отдельные критерии, такие как тезисы, доказательства и организация, на нескольких уровнях и дает студентам более полезную обратную связь. Критерием хорошей оценки является то, смогут ли два оценщика получить одинаковую оценку. «Правильное использование доказательств» не проходит этот тест; «поддерживает каждое утверждение хотя бы одним соответствующим цитируемым источником». Попросите ИИ дать наблюдаемые описания с параллельными формулировками, чтобы каждый уровень отличался от другого одним четким образом. **Вопросы с несколькими вариантами ответов** остаются или падают из-за отвлекающих факторов — неправильных вариантов. Хороший отвлекающий фактор соблазняет студентов, у которых есть реальное заблуждение, но не тех, кто понимает материал. Установленные рекомендации по написанию заданий советуют вам: - избегать «всего вышеперечисленного» - избегать грамматических подсказок, которые выдают ответ - избегать или использовать умеренно негативные формулировки, такие как «Что НЕ есть» - не допускать, чтобы правильный вариант был заметно длиннее остальных. Скажите ИИ, чтобы он следовал этим правилам и основывал каждый отвлекающий фактор на конкретном заблуждении. Основными рисками являются неправильные ключи ответов, особенно в многоэтапных математических и естественных науках, а также двусмысленные вопросы с двумя обоснованными ответами. Модели также могут показывать предвзятость позиции, помещая правильный ответ в одно и то же место чаще, чем это было бы случайно, поэтому перетасуйте варианты. Полезная проверка — открыть новый чат без ключа и попросить модель ответить на каждый вопрос. Если ответы не совпадают с ключевыми, просмотрите вопрос вручную. Распространенным заблуждением является то, что метки сложности ИИ являются измерениями. Это предположения. Настоящая трудность возникает из-за того, как ученики на самом деле учатся, а вы узнаете это, только пробуя вопросы и анализируя результаты.

Реальная реализация

Преподаватель колледжа по письму запрашивает рубрику эссе с четырьмя уровнями, в которой отдельно оцениваются тезисы, доказательства, организация и механика письма. Каждый уровень должен описывать что-то, что может наблюдать оценщик, например, ссылается ли каждое утверждение на источник.

Учитель биологии вклеивает главу учебника и задает 20 вопросов с несколькими вариантами ответов. Каждый неправильный вариант должен быть основан на названном заблуждении учащегося и содержать однострочную причину, по которой он является неправильным.

Учитель математики открывает новый чат без ключа ответа и просит модель решить каждый написанный ею вопрос. Она вручную просматривает каждый пункт, в котором два ответа расходятся.

Корпоративный тренер пробует ответить на 12 сотрудников викторины из 15 вопросов, а затем отбрасывает те вопросы, на которые все ответили правильно. Он переписывает неправильные варианты, которые никто не выбрал.

Будущее создания оценочных рубрик и викторин с помощью ИИ

Системы управления обучением и платформы оценки добавляют возможность написания вопросов с помощью ИИ к уже рассчитанной статистике вопросов, что может ускорить цикл составления, опробования и пересмотра. Оценка письменных работ по критериям с помощью искусственного интеллекта также распространяется, и она поднимает более серьезные вопросы о точности, предвзятости и привлекательности, чем написание вопросов. Какими бы ни были инструменты, ответственность за справедливую оценку лежит на том, кто ее дает. Хорошая практика, скорее всего, будет заключаться в использовании ИИ для составления и проверки, когда люди проверят ключи ответов и данные реальных студентов, решая, какие вопросы останутся.

Применение на практике

Почему это важно

  • Выбор сборки. Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
  • Команда и рабочий процесс. Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
  • Риски и безопасность. Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.

Следите за

  • Автоматизация сломанного процесса может усугубить существующие проблемы.
  • Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
  • Качество может ухудшиться, если результаты не будут оцениваться постоянно.

Следующие шаги

  1. Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
  2. Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
  3. Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
  4. Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the How to Create Grading Rubrics and Quizzes with AI quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое создание оценочных рубрик и тестов с помощью ИИ?

Создание рубрик и тестов с помощью ИИ означает использование чат-бота для разработки четких критериев рубрик и банков вопросов с убедительными неверными вариантами, а затем проверку ключей ответов и тестирование вопросов на реальных учениках. Это важно, потому что экономит часы разработки. Однако ключи ответов ИИ иногда ошибочны, а расплывчатые формулировки рубрик или неверные варианты делают оценку несправедливой.

Чем аналитическая рубрика отличается от целостной рубрики?

Аналитические рубрики оценивают такие критерии, как тезисы, доказательства и организация, отдельно, что дает более полезную обратную связь, чем одна целостная оценка.

Описание какого рубрикатора с наибольшей вероятностью приведет двух оценщиков к одинаковому баллу?

В этом описании указывается то, что оценщик может наблюдать и проверять. Остальные полагаются на субъективные слова, такие как «хорошо», «отлично» или «сильно».

Что делает хороший отвлекающий фактор в вопросе с несколькими вариантами ответов?

Отвлекающие устройства, основанные на реальных заблуждениях, отделяют понимающих учеников от тех, кто не понимает, а также показывают, какие заблуждения являются распространенными.

Почему руководство рекомендует перетасовать варианты вопросов, написанных ИИ?

Если правильные ответы группируются в одном слоте, учащиеся, умеющие тестировать, могут использовать эту закономерность. Перетасовка удаляет эту подсказку.

Какова цель того, чтобы модель отвечала на свои вопросы в новом чате без ключа?

При раздельном ответе выявляются случаи, когда ключ может быть неправильным или на вопрос есть два оправданных ответа. Затем вы просматриваете эти вопросы вручную.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →