РУКОВОДСТВО ПО ПРИМЕНЕНИЮ

Как анализировать результаты опросов с помощью ИИ

Анализ результатов опроса с помощью ИИ означает использование языковой модели для сортировки открытых ответов по темам и обобщения данных с несколькими вариантами ответов, при этом вы сохраняете контроль над подсчетами и цитатами.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее анализа результатов опросов с помощью ИИ
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это может сэкономить часы чтения. Это справедливо только в том случае, если каждый процент основан на реальных расчетах и ​​каждая котировка может быть связана с реальным ответом.

Глубокое погружение

Данные опросов бывают двух видов, и они требуют разного обращения. Закрытые вопросы, такие как множественный выбор или шкалы согласия от 1 до 5, вызывают проблемы с подсчетом. Их итоговые значения должны быть взяты из электронной таблицы или из кода, который запускает ИИ, а не из оценки модели. Открытые ответы — это проблема чтения, и именно здесь языковые модели помогают больше всего. Исследователи уже давно анализируют открытые ответы с помощью процесса, называемого кодированием. Они создают кодовую книгу, список названных тем с определениями, и помечают каждый ответ одной или несколькими темами. Дедуктивное кодирование начинается с категорий, которые вы ожидаете. Индуктивное кодирование позволяет темам возникать из того, что на самом деле написали люди. Языковая модель может быстро выполнить первый этап индуктивного кодирования. Надежный рабочий процесс: попросите модель прочитать образец и предложить темы, самостоятельно просмотреть и отредактировать кодовую книгу, позволить модели применить эту фиксированную кодовую книгу к каждому ответу и вручную проверить образец ее меток. Типичные неудачи предсказуемы. Модель может написать «около 40% указанной цены», ничего не считая. В результате могут появиться цитаты, которые кажутся реальными, но представляют собой переформулировку или смесь нескольких ответов. Учитывая больше текста, чем он может обработать одновременно, он может молча пропускать ответы. Он также может рассматривать среднее значение по шкале от 1 до 5 как полную историю, хотя разброс ответов часто имеет большее значение. Многие люди полагают, что если ИИ называет число, оно засчитывается. Если он не запускал код над помеченными данными, которые вы можете проверить, он, вероятно, этого не делал. ИИ также не может исправить проблемы с тем, кто ответил. Если откликнулись только самые счастливые клиенты, идеальный анализ все равно описывает только их. Будьте осторожны и с подгруппами: процентное соотношение, рассчитанное на восемь человек, может сильно колебаться, если один человек отвечает по-разному.

Реальная реализация

Школьный округ с 800 комментариями родителей просит ИИ предложить от 8 до 12 тем с определениями. Сотрудники просматривают список и объединяют две пересекающиеся темы, а затем ИИ помечает каждый комментарий идентификатором ответа.

HR-отдел загружает результаты опроса вовлеченности и использует код искусственного интеллекта для подсчета ответов на каждый вопрос соглашения от 1 до 5. Он сообщает количество в процентах, поэтому небольшие группы легко обнаружить.

Менеджер по продукту запрашивает три репрезентативных предложения по каждой теме, каждое со своим идентификатором ответа. Когда она просматривает исходную таблицу для каждого из них, она обнаруживает, что одна цитата была перефразирована моделью, поэтому она удаляет ее.

Общественная некоммерческая организация удаляет имена, электронные письма и почтовые адреса из 300 ответов волонтеров, прежде чем вставить их в чат-бот. Он заменяет их пронумерованными идентификаторами, чтобы результаты можно было сопоставить с исходными строками.

Будущее анализа результатов опросов с помощью ИИ

Платформы для проведения опросов добавляют краткие описания тем ИИ, а исследователи сравнивают, насколько кодирование с помощью моделей соответствует программистам-людям. Пока что результаты зависят от задачи и от того, насколько четко написана кодовая книга. Хорошей практикой является использование подхода, основанного на участии человека: люди утверждают кодовую книгу, проверяют образцы этикеток, и каждое заявленное число и цитата отслеживаются до исходных данных. Обязательства по конфиденциальности не меняются при использовании нового инструмента. Условия согласия и применимые правила защиты данных по-прежнему определяют, что и где вы можете загружать.

Применение на практике

Почему это важно

  • Выбор сборки. Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
  • Команда и рабочий процесс. Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
  • Риски и безопасность. Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.

Следите за

  • Автоматизация сломанного процесса может усугубить существующие проблемы.
  • Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
  • Качество может ухудшиться, если результаты не будут оцениваться постоянно.

Следующие шаги

  1. Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
  2. Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
  3. Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
  4. Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the How to Analyze Survey Results with AI quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое анализ результатов опроса с помощью ИИ?

Анализ результатов опроса с помощью ИИ означает использование языковой модели для сортировки открытых ответов по темам и обобщения данных с несколькими вариантами ответов, при этом вы сохраняете контроль над подсчетами и цитатами. Это может сэкономить часы чтения. Это справедливо только в том случае, если каждый процент основан на реальных расчетах и ​​каждая котировка может быть связана с реальным ответом.

Что такое кодовая книга в анализе опросов?

Кодовая книга определяет каждую тему, поэтому каждый ответ помечается одинаково, будь то человек или ИИ.

В сводке AI говорится, что «около 40% респондентов упомянули цену». Что вам следует делать?

Языковая модель может давать правдоподобное процентное соотношение, ничего не считая. Надежные цифры получаются в результате непосредственного подсчета помеченных ответов.

Как лучше всего подтвердить, что предложение, предоставленное ИИ, является реальным?

Модели могут перефразировать или объединить ответы в цитаты, которые будут звучать реалистично. Сопоставление точного текста с источником доказывает существование цитаты.

Что означает индуктивное кодирование?

Индуктивное кодирование создает темы на основе самих данных. Дедуктивное кодирование начинается с заранее выбранных категорий.

Зачем включать в свою кодовую книгу «другие» и «непонятные» коды?

Не имея выхода для ответов, которые никуда не годятся, модель втиснет их в ближайшую тему и завысит количество ответов.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →