ДалееСледующее руководство
Оценка медицинских инструментов искусственного интеллекта в качестве клинициста
Отрасли
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ
Оценка инструмента искусственного интеллекта в сфере образовательных технологий означает перед покупкой проверку того, является ли он точным, защищает ли он данные учащихся, работает ли он для учащихся с ограниченными возможностями, справедливо ли относится к группам, соответствует ли он бюджету и имеет ли доказательства того, что он улучшает обучение.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, потому что школы покупают инструменты в больших количествах, а слабый или небезопасный продукт затрагивает тысячи учащихся и приводит к потере ограниченного финансирования.
Тщательная оценка охватывает шесть областей. Точность: протестируйте инструмент на собственном учебном курсе, включая сложные и неоднозначные случаи, и подсчитайте ошибки. Генеративные инструменты могут уверенно давать неправильные ответы, поэтому спросите, как поставщик уменьшает количество ошибок и как учителя могут видеть и исправлять результаты. Конфиденциальность и безопасность: в США записи учащихся защищены FERPA, а COPPA применяется к службам, собирающим данные о детях до 13 лет; многие штаты добавляют свои собственные законы о конфиденциальности студентов. Спросите, какие данные собираются, где они хранятся, как долго они хранятся, обучают ли они модели и какие сторонние поставщики ИИ их получают. Многие округа используют соглашения о конфиденциальности данных, включая шаблоны Консорциума по конфиденциальности данных учащихся. Доступность: запросите отчет о соответствии доступности (часто VPAT) WCAG 2.1 AA, затем проверьте его самостоятельно с помощью программы чтения с экрана и клавиатуры. Предвзятость: проверьте, работает ли инструмент хуже для изучающих английский язык, учащихся, говорящих на определенных диалектах, или учащихся с ограниченными возможностями, и может ли автоматическая оценка или пометка неравномерно распределяться по некоторым группам. Стоимость: включает лицензии, обучение, интеграцию с системой управления обучением и цену после окончания бесплатного периода. Доказательства: Закон «Каждый студент добивается успеха» определяет четыре уровня доказательств: сильные (хорошо спланированные рандомизированные исследования), умеренные, многообещающие и «демонстрирующие обоснование». Многие продукты искусственного интеллекта предлагают только доказательства четвертого уровня или тематические исследования поставщиков, поэтому местный пилотный проект имеет значение. Распространенные заблуждения: что известный бренд гарантирует соблюдение требований, что «на основе искусственного интеллекта» означает более эффективно, и что высокий уровень вовлеченности свидетельствует о обучении. Опросы времени использования приложений и удовлетворенности не измеряют результаты обучения. В отчете Министерства образования США за 2023 год об искусственном интеллекте в обучении подчеркивается необходимость держать людей в курсе событий, что является полезным тестом: могут ли учителя игнорировать, анализировать и объяснять, что делает этот инструмент?
Округ просит поставщика услуг письменной обратной связи по ИИ подписать соглашение о конфиденциальности данных, в котором говорится, что студенческие эссе не будут использоваться для обучения его моделей, и уходит, когда поставщик отказывается.
Команда, занимающаяся учебной программой, тестирует репетитора по математике, работающего с искусственным интеллектом, с помощью 50 реальных домашних заданий и находит неправильные ответы на многоэтапные задачи со словами, поэтому инструмент ограничивается отработкой упражнений с проверкой учителя.
Координатор специальных возможностей использует программу чтения с экрана и навигацию только с помощью клавиатуры на новой платформе чтения с искусственным интеллектом и обнаруживает, что к ее окну чата невозможно добраться без мыши.
В школе проводится пилотный проект продолжительностью один семестр в четырех классах с группой сравнения, измеряющий результаты тестов и сэкономленное время учителя, прежде чем принять решение о продлении.
Закупки становятся более структурированными, поскольку округа, государственные агентства и некоммерческие организации публикуют критерии оценки ИИ и делятся результатами проверки, что может уменьшить дублирование усилий в небольших школах. В настоящее время проводятся более тщательные независимые исследования преподавателей искусственного интеллекта и инструментов обратной связи, но результаты занимают годы и могут варьироваться в зависимости от предмета и возраста. Поставщики, вероятно, предложат больше функций прозрачности, таких как журналы аудита и контроль со стороны учителей. Основная дисциплина не изменится: тестируйте собственный контент, защищайте данные учащихся по контракту и судите по результатам обучения.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Оценка инструмента искусственного интеллекта в сфере образовательных технологий означает перед покупкой проверку того, является ли он точным, защищает ли он данные учащихся, работает ли он для учащихся с ограниченными возможностями, справедливо ли относится к группам, соответствует ли он бюджету и имеет ли доказательства того, что он улучшает обучение. Это важно, потому что школы покупают инструменты в больших количествах, а слабый или небезопасный продукт затрагивает тысячи учащихся и приводит к потере ограниченного финансирования.
Убедительные доказательства (уровень 1) получены в результате хорошо спланированных рандомизированных контролируемых исследований. Многие продукты искусственного интеллекта предлагают доказательства только 4-го уровня.
Знание того, обучают ли данные модели и какие поставщики ИИ их получают, позволяет выявить реальную уязвимость данных.
Отчет о соответствии WCAG 2.1 AA — это только начало, но практическое тестирование выявляет пробелы, такие как окна чата, недоступные с помощью клавиатуры.
Студенты могут наслаждаться приложением или проводить время в нем, не изучая больше, поэтому результаты необходимо измерять напрямую.
Замена или обновление базовой модели может изменить ответы, поэтому фиксированный набор тестов выявляет регрессии.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Оценка медицинских инструментов искусственного интеллекта в качестве клинициста
Отрасли