РУКОВОДСТВО ПО ПРИМЕНЕНИЮ

Готовность данных для проектов искусственного интеллекта

Готовность данных для проекта ИИ означает, что данные, необходимые для конкретного варианта использования, могут быть получены, имеют достаточно хорошее качество, маркируются там, где это необходимо, представляют реальные ситуации, с которыми столкнется система, и могут быть легально использованы для этой цели.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее готовности данных для проектов искусственного интеллекта
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, поскольку проблемы с данными являются одной из наиболее распространенных причин, по которым проекты ИИ терпят неудачу или задерживаются, и их обнаружение в ходе аудита обходится гораздо дешевле, чем после построения модели.

Глубокое погружение

Готовность данных всегда оценивается по конкретному сценарию использования. Одни и те же данные могут быть готовы для одного проекта и бесполезны для другого. Аудит обычно охватывает пять вопросов. Можно ли его достичь? Узнайте, где хранятся данные, кому они принадлежат, можно ли их извлечь через API или экспортировать, а также есть ли разрешение у команды проекта. Данные, заблокированные в устаревшей системе или платформе поставщика, могут существовать, но по-прежнему оставаться вне практической досягаемости. Это достаточно хорошо? Проверьте полноту (отсутствующие значения), точность, согласованность между системами, своевременность и наличие дубликатов. Качество должно быть достаточным для выполнения поставленной задачи. Идеальные данные нужны редко, но систематические ошибки опасны, поскольку модель их изучает. Это маркировано? Контролируемое обучение требует достоверных меток, например, была ли транзакция мошенничеством или к какой категории принадлежит билет. Ярлыки должны определяться последовательно, и стоит проверить, насколько часто люди, размечающие ярлыки, соглашаются друг с другом. Это репрезентативно? Данные должны охватывать людей, условия и крайние случаи, с которыми может столкнуться система. Предвзятость отбора, например, получение результатов только для одобренных претендентов на получение кредита, может привести к тому, что модель будет выглядеть точной при тестировании и потерпеть неудачу в использовании. Можно ли его использовать по закону? Проверьте согласие, контракты, лицензии, закон о конфиденциальности и неприкосновенности частной жизни. Согласно GDPR ЕС, принцип ограничения целей означает, что данные, собранные для одной цели, не могут быть просто повторно использованы для несовместимой цели без веских оснований. Для генеративного ИИ с поиском (RAG) готовность также означает наличие текущих, хорошо организованных документов и поиск с соблюдением существующих разрешений доступа. Распространенное заблуждение заключается в том, что большой объем данных означает, что вы готовы. Объем не устраняет предвзятость, отсутствие маркировки или отсутствие законных прав.

Реальная реализация

У банка, планирующего использовать модель дефолта по кредиту, есть заявки на пять лет, но отклоненные заявки не имеют результатов погашения. Таким образом, данные не могут показать, как бы работали эти люди.

Ритейлер, создающий чат-бота поддержки, проверяет статьи своего справочного центра и обнаруживает, что многие из них устарели. Он назначает владельцев и даты проверки, прежде чем подключать статьи к поисковой системе чат-бота.

Стартап в области радиологии обнаружил, что все его маркированные сканы были получены из двух больниц с использованием сканеров одной марки. Это вызывает сомнения в том, как модель поведет себя на объектах с другим оборудованием.

Европейская компания, которая хочет обучить модель электронной почты поддержки клиентов, спрашивает свою команду по конфиденциальности, охватывают ли ее первоначальная правовая основа GDPR и уведомление о конфиденциальности эту новую цель.

Будущее готовности данных для проектов искусственного интеллекта

Работа по подготовке данных постепенно становится все более поддерживаемой инструментами. Каталоги данных, автоматический мониторинг качества и отслеживание происхождения более распространены на корпоративных платформах, а маркировка с помощью искусственного интеллекта может ускорить аннотирование, хотя для этого по-прежнему требуются человеческие проверки. Правила документирования данных обучения, включая части Закона ЕС об искусственном интеллекте, скорее всего, сделают документирование наборов данных требованием соответствия в большинстве случаев, а не просто хорошей практикой. Синтетические данные могут заполнить некоторые пробелы, но они могут нести в себе предвзятость данных, на основе которых они были получены, поэтому тщательный аудит будет по-прежнему необходим.

Применение на практике

Почему это важно

  • Выбор сборки. Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
  • Команда и рабочий процесс. Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
  • Риски и безопасность. Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.

Следите за

  • Автоматизация сломанного процесса может усугубить существующие проблемы.
  • Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
  • Качество может ухудшиться, если результаты не будут оцениваться постоянно.

Следующие шаги

  1. Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
  2. Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
  3. Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
  4. Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Data Readiness for AI Projects quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое готовность данных для проектов ИИ?

Готовность данных для проекта ИИ означает, что данные, необходимые для конкретного варианта использования, могут быть получены, имеют достаточно хорошее качество, маркируются там, где это необходимо, представляют реальные ситуации, с которыми столкнется система, и могут быть легально использованы для этой цели. Это важно, поскольку проблемы с данными являются одной из наиболее распространенных причин, по которым проекты ИИ терпят неудачу или задерживаются, и их обнаружение в ходе аудита обходится гораздо дешевле, чем после построения модели.

В банке есть результаты погашения только для одобренных заявителей. О какой проблеме с готовностью данных свидетельствует это?

Результаты существуют только для людей, которые были одобрены, поэтому данные не отражают всех, кого будет оценивать модель. Из-за этого тестирование может выглядеть лучше, чем реальная производительность.

Что такое утечка данных в контексте обучения модели?

Такое поле, как «статус коллекций», показывает результат по умолчанию, поэтому модель выглядит точной при тестировании, но не может использовать эту информацию при составлении реальных прогнозов.

Какой принцип GDPR ограничивает повторное использование данных, собранных для одной цели, для несовместимой новой цели?

Ограничение целей означает, что данные, собранные для конкретных целей, не должны повторно использоваться несовместимыми способами без веских оснований. Вот почему европейская компания сверяется со своей командой по обеспечению конфиденциальности.

В книге «Готовность данных для проектов искусственного интеллекта»: что измеряет каппа Коэна?

Каппа показывает, насколько последовательно специалисты по маркировке сходятся во мнении, помимо того, что может дать случайная случайность, что отражает, насколько надежна ваша основная истина.

Почему при поиске генеративного ИИ-помощника необходимо соблюдать существующие права доступа?

Если при извлечении игнорируются разрешения, чат-бот может предоставить конфиденциальный контент любому, кто спросит, даже если исходные системы заблокировали бы этого пользователя.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →