РУКОВОДСТВО ПО ПРИМЕНЕНИЮ

Оценка инструментов AI EdTech для школ

Оценка инструмента искусственного интеллекта в сфере образовательных технологий означает перед покупкой проверку того, является ли он точным, защищает ли он данные учащихся, работает ли он для учащихся с ограниченными возможностями, справедливо ли относится к группам, соответствует ли он бюджету и имеет ли доказательства того, что он улучшает обучение.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее оценки инструментов AI EdTech для школ
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, потому что школы покупают инструменты в больших количествах, а слабый или небезопасный продукт затрагивает тысячи учащихся и приводит к потере ограниченного финансирования.

Глубокое погружение

Тщательная оценка охватывает шесть областей. Точность: протестируйте инструмент на собственном учебном курсе, включая сложные и неоднозначные случаи, и подсчитайте ошибки. Генеративные инструменты могут уверенно давать неправильные ответы, поэтому спросите, как поставщик уменьшает количество ошибок и как учителя могут видеть и исправлять результаты. Конфиденциальность и безопасность: в США записи учащихся защищены FERPA, а COPPA применяется к службам, собирающим данные о детях до 13 лет; многие штаты добавляют свои собственные законы о конфиденциальности студентов. Спросите, какие данные собираются, где они хранятся, как долго они хранятся, обучают ли они модели и какие сторонние поставщики ИИ их получают. Многие округа используют соглашения о конфиденциальности данных, включая шаблоны Консорциума по конфиденциальности данных учащихся. Доступность: запросите отчет о соответствии доступности (часто VPAT) WCAG 2.1 AA, затем проверьте его самостоятельно с помощью программы чтения с экрана и клавиатуры. Предвзятость: проверьте, работает ли инструмент хуже для изучающих английский язык, учащихся, говорящих на определенных диалектах, или учащихся с ограниченными возможностями, и может ли автоматическая оценка или пометка неравномерно распределяться по некоторым группам. Стоимость: включает лицензии, обучение, интеграцию с системой управления обучением и цену после окончания бесплатного периода. Доказательства: Закон «Каждый студент добивается успеха» определяет четыре уровня доказательств: сильные (хорошо спланированные рандомизированные исследования), умеренные, многообещающие и «демонстрирующие обоснование». Многие продукты искусственного интеллекта предлагают только доказательства четвертого уровня или тематические исследования поставщиков, поэтому местный пилотный проект имеет значение. Распространенные заблуждения: что известный бренд гарантирует соблюдение требований, что «на основе искусственного интеллекта» означает более эффективно, и что высокий уровень вовлеченности свидетельствует о обучении. Опросы времени использования приложений и удовлетворенности не измеряют результаты обучения. В отчете Министерства образования США за 2023 год об искусственном интеллекте в обучении подчеркивается необходимость держать людей в курсе событий, что является полезным тестом: могут ли учителя игнорировать, анализировать и объяснять, что делает этот инструмент?

Реальная реализация

Округ просит поставщика услуг письменной обратной связи по ИИ подписать соглашение о конфиденциальности данных, в котором говорится, что студенческие эссе не будут использоваться для обучения его моделей, и уходит, когда поставщик отказывается.

Команда, занимающаяся учебной программой, тестирует репетитора по математике, работающего с искусственным интеллектом, с помощью 50 реальных домашних заданий и находит неправильные ответы на многоэтапные задачи со словами, поэтому инструмент ограничивается отработкой упражнений с проверкой учителя.

Координатор специальных возможностей использует программу чтения с экрана и навигацию только с помощью клавиатуры на новой платформе чтения с искусственным интеллектом и обнаруживает, что к ее окну чата невозможно добраться без мыши.

В школе проводится пилотный проект продолжительностью один семестр в четырех классах с группой сравнения, измеряющий результаты тестов и сэкономленное время учителя, прежде чем принять решение о продлении.

Будущее оценки инструментов AI EdTech для школ

Закупки становятся более структурированными, поскольку округа, государственные агентства и некоммерческие организации публикуют критерии оценки ИИ и делятся результатами проверки, что может уменьшить дублирование усилий в небольших школах. В настоящее время проводятся более тщательные независимые исследования преподавателей искусственного интеллекта и инструментов обратной связи, но результаты занимают годы и могут варьироваться в зависимости от предмета и возраста. Поставщики, вероятно, предложат больше функций прозрачности, таких как журналы аудита и контроль со стороны учителей. Основная дисциплина не изменится: тестируйте собственный контент, защищайте данные учащихся по контракту и судите по результатам обучения.

Применение на практике

Почему это важно

  • Выбор сборки. Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
  • Команда и рабочий процесс. Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
  • Риски и безопасность. Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.

Следите за

  • Автоматизация сломанного процесса может усугубить существующие проблемы.
  • Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
  • Качество может ухудшиться, если результаты не будут оцениваться постоянно.

Следующие шаги

  1. Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
  2. Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
  3. Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
  4. Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Evaluating AI EdTech Tools for Schools quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое оценка инструментов AI EdTech для школ?

Оценка инструмента искусственного интеллекта в сфере образовательных технологий означает перед покупкой проверку того, является ли он точным, защищает ли он данные учащихся, работает ли он для учащихся с ограниченными возможностями, справедливо ли относится к группам, соответствует ли он бюджету и имеет ли доказательства того, что он улучшает обучение. Это важно, потому что школы покупают инструменты в больших количествах, а слабый или небезопасный продукт затрагивает тысячи учащихся и приводит к потере ограниченного финансирования.

Согласно Закону об успехе каждого студента, какой уровень доказательств основан на хорошо спланированных рандомизированных исследованиях?

Убедительные доказательства (уровень 1) получены в результате хорошо спланированных рандомизированных контролируемых исследований. Многие продукты искусственного интеллекта предлагают доказательства только 4-го уровня.

Какой вопрос лучше всего проверяет политику конфиденциальности поставщика?

Знание того, обучают ли данные модели и какие поставщики ИИ их получают, позволяет выявить реальную уязвимость данных.

Каков рекомендуемый способ проверки заявлений о доступности?

Отчет о соответствии WCAG 2.1 AA — это только начало, но практическое тестирование выявляет пробелы, такие как окна чата, недоступные с помощью клавиатуры.

Почему высокая вовлеченность студентов недостаточна, чтобы оправдать покупку?

Студенты могут наслаждаться приложением или проводить время в нем, не изучая больше, поэтому результаты необходимо измерять напрямую.

Почему школа должна повторно запускать набор тестов на точность после обновления поставщика?

Замена или обновление базовой модели может изменить ответы, поэтому фиксированный набор тестов выявляет регрессии.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →