ДалееСледующее руководство
How to Understand Your Lab Results With AI
Приложения
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ
Анализ результатов опроса с помощью ИИ означает использование языковой модели для сортировки открытых ответов по темам и обобщения данных с несколькими вариантами ответов, при этом вы сохраняете контроль над подсчетами и цитатами.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это может сэкономить часы чтения. Это справедливо только в том случае, если каждый процент основан на реальных расчетах и каждая котировка может быть связана с реальным ответом.
Данные опросов бывают двух видов, и они требуют разного обращения. Закрытые вопросы, такие как множественный выбор или шкалы согласия от 1 до 5, вызывают проблемы с подсчетом. Их итоговые значения должны быть взяты из электронной таблицы или из кода, который запускает ИИ, а не из оценки модели. Открытые ответы — это проблема чтения, и именно здесь языковые модели помогают больше всего. Исследователи уже давно анализируют открытые ответы с помощью процесса, называемого кодированием. Они создают кодовую книгу, список названных тем с определениями, и помечают каждый ответ одной или несколькими темами. Дедуктивное кодирование начинается с категорий, которые вы ожидаете. Индуктивное кодирование позволяет темам возникать из того, что на самом деле написали люди. Языковая модель может быстро выполнить первый этап индуктивного кодирования. Надежный рабочий процесс: попросите модель прочитать образец и предложить темы, самостоятельно просмотреть и отредактировать кодовую книгу, позволить модели применить эту фиксированную кодовую книгу к каждому ответу и вручную проверить образец ее меток. Типичные неудачи предсказуемы. Модель может написать «около 40% указанной цены», ничего не считая. В результате могут появиться цитаты, которые кажутся реальными, но представляют собой переформулировку или смесь нескольких ответов. Учитывая больше текста, чем он может обработать одновременно, он может молча пропускать ответы. Он также может рассматривать среднее значение по шкале от 1 до 5 как полную историю, хотя разброс ответов часто имеет большее значение. Многие люди полагают, что если ИИ называет число, оно засчитывается. Если он не запускал код над помеченными данными, которые вы можете проверить, он, вероятно, этого не делал. ИИ также не может исправить проблемы с тем, кто ответил. Если откликнулись только самые счастливые клиенты, идеальный анализ все равно описывает только их. Будьте осторожны и с подгруппами: процентное соотношение, рассчитанное на восемь человек, может сильно колебаться, если один человек отвечает по-разному.
Школьный округ с 800 комментариями родителей просит ИИ предложить от 8 до 12 тем с определениями. Сотрудники просматривают список и объединяют две пересекающиеся темы, а затем ИИ помечает каждый комментарий идентификатором ответа.
HR-отдел загружает результаты опроса вовлеченности и использует код искусственного интеллекта для подсчета ответов на каждый вопрос соглашения от 1 до 5. Он сообщает количество в процентах, поэтому небольшие группы легко обнаружить.
Менеджер по продукту запрашивает три репрезентативных предложения по каждой теме, каждое со своим идентификатором ответа. Когда она просматривает исходную таблицу для каждого из них, она обнаруживает, что одна цитата была перефразирована моделью, поэтому она удаляет ее.
Общественная некоммерческая организация удаляет имена, электронные письма и почтовые адреса из 300 ответов волонтеров, прежде чем вставить их в чат-бот. Он заменяет их пронумерованными идентификаторами, чтобы результаты можно было сопоставить с исходными строками.
Платформы для проведения опросов добавляют краткие описания тем ИИ, а исследователи сравнивают, насколько кодирование с помощью моделей соответствует программистам-людям. Пока что результаты зависят от задачи и от того, насколько четко написана кодовая книга. Хорошей практикой является использование подхода, основанного на участии человека: люди утверждают кодовую книгу, проверяют образцы этикеток, и каждое заявленное число и цитата отслеживаются до исходных данных. Обязательства по конфиденциальности не меняются при использовании нового инструмента. Условия согласия и применимые правила защиты данных по-прежнему определяют, что и где вы можете загружать.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Анализ результатов опроса с помощью ИИ означает использование языковой модели для сортировки открытых ответов по темам и обобщения данных с несколькими вариантами ответов, при этом вы сохраняете контроль над подсчетами и цитатами. Это может сэкономить часы чтения. Это справедливо только в том случае, если каждый процент основан на реальных расчетах и каждая котировка может быть связана с реальным ответом.
Кодовая книга определяет каждую тему, поэтому каждый ответ помечается одинаково, будь то человек или ИИ.
Языковая модель может давать правдоподобное процентное соотношение, ничего не считая. Надежные цифры получаются в результате непосредственного подсчета помеченных ответов.
Модели могут перефразировать или объединить ответы в цитаты, которые будут звучать реалистично. Сопоставление точного текста с источником доказывает существование цитаты.
Индуктивное кодирование создает темы на основе самих данных. Дедуктивное кодирование начинается с заранее выбранных категорий.
Не имея выхода для ответов, которые никуда не годятся, модель втиснет их в ближайшую тему и завысит количество ответов.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
How to Understand Your Lab Results With AI
Приложения