ДалееСледующее руководство
Мониторинг моделей искусственного интеллекта
Технический
Визуальное руководство по искусственному интеллекту
AI-прокторинг и онлайн-мониторинг экзаменов
AI-прокторинг — это программное обеспечение, которое наблюдает за студентами во время онлайн-экзаменов с помощью видео с веб-камеры, звука с микрофона, активности экрана и элементов управления браузера.
На этой странице4 минуты чтения
Обзор
Он отмечает моменты, которые считает возможным мошенничеством, а затем человек их просматривает. Это важно, поскольку эти флажки могут повлиять на оценки и академическую честность, однако сигналы являются косвенными и могут срабатывать по причинам, не имеющим ничего общего со списыванием.
Глубокое погружение
Удаленный прокторинг быстро стал развиваться, когда в 2020 году кампусы перешли в онлайн. Распространенные продукты включают Respondus LockDown Browser и Respondus Monitor, Proctorio, Honorlock, Examity и ProctorU (теперь часть Meazure Learning). Большинство комбинируют три слоя. Уровень блокировки ограничивает компьютер, блокируя другие приложения, вкладки, печать и копирование. Уровень идентификации сравнивает удостоверение личности с фотографией и лицом на камере. Уровень мониторинга записывает работу веб-камеры, микрофона и экрана и иногда запрашивает 360-градусное сканирование помещения перед началом экзамена. Часть AI в основном занимается обнаружением закономерностей в этих записях. Компьютерное зрение оценивает, присутствует ли лицо, появляется ли более одного лица и куда направлены голова и глаза. Аудиомодели слушают речь или другие голоса. Журналы экрана и браузера фиксируют переключения вкладок и изменения окон. Каждому событию присваивается оценка, и система создает временную шкалу помеченных сегментов с общим уровнем подозрительности. Некоторые продавцы добавляют живых наблюдателей, но большинство оставляет окончательное решение за инструктором. Самое большое заблуждение состоит в том, что флаг – это свидетельство мошенничества. Флаг означает только то, что поведение отличается от ожидаемого моделью. Взгляд вверх, чтобы подумать, чтение вопросов вслух, появление в комнате брата или сестры, тик, инвалидность или нестабильное подключение к Интернету — все это может спровоцировать его. Сообщалось также, что распознавание лиц работает хуже для некоторых учащихся с более темной кожей и при плохом освещении, что соответствует более широкому исследованию предвзятости при анализе лиц. Конфиденциальность — еще одна серьезная проблема. В деле Оглтри против Кливлендского государственного университета (2022 г.) федеральный судья США постановил, что сканирование помещения, необходимое перед дистанционным экзаменом в государственном университете, нарушает права студента, предусмотренные Четвертой поправкой. Студенты обычно могут спросить, какие данные собираются, как долго они хранятся, кто проверяет пометки и как подать апелляцию. Они также могут запросить приспособление для инвалидов.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее искусственного прокторинга и онлайн-мониторинга экзаменов
Многие преподаватели перешли к методам оценивания, которые делают дистанционное мошенничество менее полезным, например, вопросы в открытой тетради, устные контрольные задания, проекты и личные экзамены. Генеративный искусственный интеллект ускорил это переосмысление, поскольку ответы могут прийти с помощью инструментов, которые камера не видит. Поставщики продолжают добавлять функции, такие как обнаружение вторых устройств и проверка с помощью искусственного интеллекта. Между тем, регуляторы конфиденциальности, суды и политика университетов продолжают определять, что является приемлемым. Разумным ожиданием является более узкое и прозрачное использование: сохранение контроля для экзаменов с высокими ставками, с четкими ограничениями на срок хранения данных, доступными альтернативами и людьми, принимающими окончательные решения.
Реальная реализация
В университете используется заблокированный браузер для промежуточных занятий по химии на время. Он блокирует новые вкладки, копирование и вставку снимков экрана, а запись с веб-камеры сохраняется для последующего просмотра инструктором.
Программное обеспечение помечает учащегося за то, что он неоднократно отводил взгляд от экрана. Во время просмотра она читала таблицу с разрешенными формулами, приклеенную рядом с монитором.
Студенту с более темной кожей, работающему в темной комнате, постоянно говорят, что система не может распознать лицо. Он не может начать экзамен, пока не найдет лампу.
После того, как студенты выражают обеспокоенность по поводу сканирования помещения и требований к пропускной способности, профессор заменяет финальный экзамен с несколькими вариантами ответов под наблюдением экзаменом с открытой книгой, построенным на применении материала.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI Proctoring and Online Exam Monitoring quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Часто задаваемые вопросы
Что такое AI-прокторинг и онлайн-мониторинг экзаменов?
AI-прокторинг — это программное обеспечение, которое наблюдает за студентами во время онлайн-экзаменов с помощью видео с веб-камеры, звука с микрофона, активности экрана и элементов управления браузера. Он отмечает моменты, которые считает возможным мошенничеством, а затем человек их просматривает. Это важно, поскольку эти флажки могут повлиять на оценки и академическую честность, однако сигналы являются косвенными и могут срабатывать по причинам, не имеющим ничего общего со списыванием.
Согласно руководству, что на самом деле означает флаг прокторинга?
Флаг означает только то, что поведение отличалось от ожиданий модели. Невинные действия, такие как взгляд вверх, чтобы подумать, или появление брата или сестры в комнате, могут спровоцировать его, поэтому их необходимо рассматривать в контексте.
Какой уровень системы прокторинга блокирует другие вкладки, печать и копирование?
Уровень блокировки ограничивает возможности компьютера во время экзамена. При проверке личности удостоверение личности сравнивается с лицом на камере, а мониторинг записывает видео, звук и экран.
Какое решение принял суд по делу Оглтри против Кливлендского государственного университета (2022 г.)?
Федеральный судья США установил, что сканирование помещения, требуемое в государственном университете, является необоснованным обыском в соответствии с Четвертой поправкой. Это дело является ключевым моментом в дебатах о прокторинге и конфиденциальности.
Как многие проверки взгляда позволяют оценить, куда смотрит ученик?
Многие системы оценивают положение головы по таким ориентирам, как уголки глаз, нос и подбородок. Если угол превышает установленный порог в течение заданного времени, событие регистрируется. Это гораздо более грубо, чем точное отслеживание глаз.
На что реагирует обнаружение голосовой активности в прокторинге?
Обнаружение голосовой активности реагирует на любой звук, похожий на речь, и не может определить, является ли этот звук обманом. Вот почему чтение вслух или фоновый разговор могут вызвать появление флажков.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме