ДалееСледующее руководство
Точная настройка моделей внедрения для поиска
Технический
Техническое РУКОВОДСТВО
Карточка модели — это короткий структурированный документ, в котором объясняется, для чего предназначена модель ИИ, как она оценивалась, насколько хорошо она работает для различных групп и условий и где ее не следует использовать.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Таблица данных для наборов данных делает то же самое для обучающих данных: почему данные были собраны, что они содержат, как они были собраны и помечены и как их следует хранить. Эти документы имеют большое значение, поскольку они позволяют покупателям, пользователям, аудиторам и регулирующим органам судить о том, соответствует ли система своему назначению, а такие законы, как Закон ЕС об искусственном интеллекте, теперь требуют аналогичной документации.
Модельные карты были предложены Маргарет Митчелл и ее коллегами в документе «Модельные карты для модельной отчетности», представленном на конференции ACM FAT* в 2019 году. Предлагаемые разделы включают детали модели, предполагаемое использование, факторы (например, демографические или экологические условия), показатели, данные оценки, данные обучения, количественный анализ, этические соображения, а также предостережения и рекомендации. Ключевая идея – дезагрегированная оценка: отчетность о результатах работы ведется отдельно по соответствующим подгруппам, а не в виде единого среднего балла, который может скрыть неудачи. Таблицы данных для наборов данных, составленные Тимнитом Гебру и его коллегами, впервые были распространены в 2018 году, а затем были опубликованы в журнале Communications of the ACM. Он заимствован из технических описаний электроники. Создатели наборов данных отвечают на вопросы о мотивации, составе, процессе сбора, предварительной обработке и маркировке, использовании, распространении и обслуживании. Связанные форматы включают операторы данных для языковых наборов данных и карты данных. Системные карты, используемые Meta и OpenAI с 2022 года и особенно для GPT-4 в 2023 году, документируют всю развернутую систему, включая тестирование безопасности и меры по снижению рисков, а не только модель. Регулирование превратило большую часть этой практики в требование. Закон ЕС об искусственном интеллекте требует технической документации для систем искусственного интеллекта высокого риска, изложенной в Приложении IV. Поставщики моделей ИИ общего назначения должны хранить техническую документацию, предоставлять информацию нижестоящим поставщикам и публиковать краткое изложение содержания обучения, используя шаблон Комиссии. Распространенным заблуждением является то, что карта модели доказывает, что модель безопасна. Это раскрытие информации, а не сертификация, и карта может быть неполной, устаревшей или написанной как маркетинг. Его ценность зависит от честных ограничений и оценок, которые может воспроизвести кто-то другой.
Больница, оценивающая классификатор поражений кожи, считывает свою модельную карту и обнаруживает, что точность была указана отдельно по тону кожи. Затем он решает запустить собственную локальную проверку перед использованием.
В репозитории моделей Hugging Face отображается карточка модели с метаданными YAML, в которых указаны ее лицензия, наборы обучающих данных, языки и результаты тестов, и люди могут фильтровать результаты поиска по этим полям.
Исследовательская группа публикует набор речевых данных с таблицей, в которой записано согласие говорящих, условия записи и недостаточно представленные акценты.
Лаборатория искусственного интеллекта выпускает системную карточку для чат-бота, описывающую результаты «красной команды», меры по снижению безопасности и риски, которые остаются за рамками карт базовой модели.
Документация переходит от добровольной передовой практики к требованию соответствия. Закон ЕС об искусственном интеллекте, правила закупок и стандарты, такие как ISO/IEC 42001, требуют структурированных записей о том, как система была построена и протестирована. Машиночитаемые форматы и автоматическое создание, вероятно, станут более распространенными, чтобы карты можно было проверять и сравнивать. Постоянные проблемы заключаются в обеспечении точности документов по мере обновления моделей, раскрытии достаточного количества обучающих данных без раскрытия коммерческой тайны или личной информации, а также обеспечении того, чтобы читатели действительно использовали документы при принятии решений.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Карточка модели — это короткий структурированный документ, в котором объясняется, для чего предназначена модель ИИ, как она оценивалась, насколько хорошо она работает для различных групп и условий и где ее не следует использовать. Таблица данных для наборов данных делает то же самое для обучающих данных: почему данные были собраны, что они содержат, как они были собраны и помечены и как их следует хранить. Эти документы имеют большое значение, поскольку они позволяют покупателям, пользователям, аудиторам и регулирующим органам судить о том, соответствует ли система своему назначению, а такие законы, как Закон ЕС об искусственном интеллекте, теперь требуют аналогичной документации.
Карточка модели дает читателям все, что им нужно, чтобы судить, подходит ли модель для конкретного использования, в том числе там, где она работает плохо.
Маргарет Митчелл и ее коллеги представили «Модельные карты для модельной отчетности» на ACM FAT* в 2019 году.
Разделение результатов по подгруппам выявляет сбои, которые скрывает общее среднее значение.
Электронные компоненты поставляются с паспортами, в которых описаны их характеристики. Гебру и его коллеги применили эту идею к наборам данных.
Системные карточки, такие как OpenAI для GPT-4, описывают риски развернутого продукта, «красную команду» и меры безопасности.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Точная настройка моделей внедрения для поиска
Технический