ДалееСледующее руководство
Как понять данные вашего фитнес-трекера с помощью искусственного интеллекта
Приложения
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ
Готовность данных для проекта ИИ означает, что данные, необходимые для конкретного варианта использования, могут быть получены, имеют достаточно хорошее качество, маркируются там, где это необходимо, представляют реальные ситуации, с которыми столкнется система, и могут быть легально использованы для этой цели.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку проблемы с данными являются одной из наиболее распространенных причин, по которым проекты ИИ терпят неудачу или задерживаются, и их обнаружение в ходе аудита обходится гораздо дешевле, чем после построения модели.
Готовность данных всегда оценивается по конкретному сценарию использования. Одни и те же данные могут быть готовы для одного проекта и бесполезны для другого. Аудит обычно охватывает пять вопросов. Можно ли его достичь? Узнайте, где хранятся данные, кому они принадлежат, можно ли их извлечь через API или экспортировать, а также есть ли разрешение у команды проекта. Данные, заблокированные в устаревшей системе или платформе поставщика, могут существовать, но по-прежнему оставаться вне практической досягаемости. Это достаточно хорошо? Проверьте полноту (отсутствующие значения), точность, согласованность между системами, своевременность и наличие дубликатов. Качество должно быть достаточным для выполнения поставленной задачи. Идеальные данные нужны редко, но систематические ошибки опасны, поскольку модель их изучает. Это маркировано? Контролируемое обучение требует достоверных меток, например, была ли транзакция мошенничеством или к какой категории принадлежит билет. Ярлыки должны определяться последовательно, и стоит проверить, насколько часто люди, размечающие ярлыки, соглашаются друг с другом. Это репрезентативно? Данные должны охватывать людей, условия и крайние случаи, с которыми может столкнуться система. Предвзятость отбора, например, получение результатов только для одобренных претендентов на получение кредита, может привести к тому, что модель будет выглядеть точной при тестировании и потерпеть неудачу в использовании. Можно ли его использовать по закону? Проверьте согласие, контракты, лицензии, закон о конфиденциальности и неприкосновенности частной жизни. Согласно GDPR ЕС, принцип ограничения целей означает, что данные, собранные для одной цели, не могут быть просто повторно использованы для несовместимой цели без веских оснований. Для генеративного ИИ с поиском (RAG) готовность также означает наличие текущих, хорошо организованных документов и поиск с соблюдением существующих разрешений доступа. Распространенное заблуждение заключается в том, что большой объем данных означает, что вы готовы. Объем не устраняет предвзятость, отсутствие маркировки или отсутствие законных прав.
У банка, планирующего использовать модель дефолта по кредиту, есть заявки на пять лет, но отклоненные заявки не имеют результатов погашения. Таким образом, данные не могут показать, как бы работали эти люди.
Ритейлер, создающий чат-бота поддержки, проверяет статьи своего справочного центра и обнаруживает, что многие из них устарели. Он назначает владельцев и даты проверки, прежде чем подключать статьи к поисковой системе чат-бота.
Стартап в области радиологии обнаружил, что все его маркированные сканы были получены из двух больниц с использованием сканеров одной марки. Это вызывает сомнения в том, как модель поведет себя на объектах с другим оборудованием.
Европейская компания, которая хочет обучить модель электронной почты поддержки клиентов, спрашивает свою команду по конфиденциальности, охватывают ли ее первоначальная правовая основа GDPR и уведомление о конфиденциальности эту новую цель.
Работа по подготовке данных постепенно становится все более поддерживаемой инструментами. Каталоги данных, автоматический мониторинг качества и отслеживание происхождения более распространены на корпоративных платформах, а маркировка с помощью искусственного интеллекта может ускорить аннотирование, хотя для этого по-прежнему требуются человеческие проверки. Правила документирования данных обучения, включая части Закона ЕС об искусственном интеллекте, скорее всего, сделают документирование наборов данных требованием соответствия в большинстве случаев, а не просто хорошей практикой. Синтетические данные могут заполнить некоторые пробелы, но они могут нести в себе предвзятость данных, на основе которых они были получены, поэтому тщательный аудит будет по-прежнему необходим.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Готовность данных для проекта ИИ означает, что данные, необходимые для конкретного варианта использования, могут быть получены, имеют достаточно хорошее качество, маркируются там, где это необходимо, представляют реальные ситуации, с которыми столкнется система, и могут быть легально использованы для этой цели. Это важно, поскольку проблемы с данными являются одной из наиболее распространенных причин, по которым проекты ИИ терпят неудачу или задерживаются, и их обнаружение в ходе аудита обходится гораздо дешевле, чем после построения модели.
Результаты существуют только для людей, которые были одобрены, поэтому данные не отражают всех, кого будет оценивать модель. Из-за этого тестирование может выглядеть лучше, чем реальная производительность.
Такое поле, как «статус коллекций», показывает результат по умолчанию, поэтому модель выглядит точной при тестировании, но не может использовать эту информацию при составлении реальных прогнозов.
Ограничение целей означает, что данные, собранные для конкретных целей, не должны повторно использоваться несовместимыми способами без веских оснований. Вот почему европейская компания сверяется со своей командой по обеспечению конфиденциальности.
Каппа показывает, насколько последовательно специалисты по маркировке сходятся во мнении, помимо того, что может дать случайная случайность, что отражает, насколько надежна ваша основная истина.
Если при извлечении игнорируются разрешения, чат-бот может предоставить конфиденциальный контент любому, кто спросит, даже если исходные системы заблокировали бы этого пользователя.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Как понять данные вашего фитнес-трекера с помощью искусственного интеллекта
Приложения