Техническое РУКОВОДСТВО

Карты моделей и таблицы данных для наборов данных

Карточка модели — это короткий структурированный документ, в котором объясняется, для чего предназначена модель ИИ, как она оценивалась, насколько хорошо она работает для различных групп и условий и где ее не следует использовать.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее карточек моделей и таблиц данных для наборов данных
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Таблица данных для наборов данных делает то же самое для обучающих данных: почему данные были собраны, что они содержат, как они были собраны и помечены и как их следует хранить. Эти документы имеют большое значение, поскольку они позволяют покупателям, пользователям, аудиторам и регулирующим органам судить о том, соответствует ли система своему назначению, а такие законы, как Закон ЕС об искусственном интеллекте, теперь требуют аналогичной документации.

Глубокое погружение

Модельные карты были предложены Маргарет Митчелл и ее коллегами в документе «Модельные карты для модельной отчетности», представленном на конференции ACM FAT* в 2019 году. Предлагаемые разделы включают детали модели, предполагаемое использование, факторы (например, демографические или экологические условия), показатели, данные оценки, данные обучения, количественный анализ, этические соображения, а также предостережения и рекомендации. Ключевая идея – дезагрегированная оценка: отчетность о результатах работы ведется отдельно по соответствующим подгруппам, а не в виде единого среднего балла, который может скрыть неудачи. Таблицы данных для наборов данных, составленные Тимнитом Гебру и его коллегами, впервые были распространены в 2018 году, а затем были опубликованы в журнале Communications of the ACM. Он заимствован из технических описаний электроники. Создатели наборов данных отвечают на вопросы о мотивации, составе, процессе сбора, предварительной обработке и маркировке, использовании, распространении и обслуживании. Связанные форматы включают операторы данных для языковых наборов данных и карты данных. Системные карты, используемые Meta и OpenAI с 2022 года и особенно для GPT-4 в 2023 году, документируют всю развернутую систему, включая тестирование безопасности и меры по снижению рисков, а не только модель. Регулирование превратило большую часть этой практики в требование. Закон ЕС об искусственном интеллекте требует технической документации для систем искусственного интеллекта высокого риска, изложенной в Приложении IV. Поставщики моделей ИИ общего назначения должны хранить техническую документацию, предоставлять информацию нижестоящим поставщикам и публиковать краткое изложение содержания обучения, используя шаблон Комиссии. Распространенным заблуждением является то, что карта модели доказывает, что модель безопасна. Это раскрытие информации, а не сертификация, и карта может быть неполной, устаревшей или написанной как маркетинг. Его ценность зависит от честных ограничений и оценок, которые может воспроизвести кто-то другой.

Реальная реализация

Больница, оценивающая классификатор поражений кожи, считывает свою модельную карту и обнаруживает, что точность была указана отдельно по тону кожи. Затем он решает запустить собственную локальную проверку перед использованием.

В репозитории моделей Hugging Face отображается карточка модели с метаданными YAML, в которых указаны ее лицензия, наборы обучающих данных, языки и результаты тестов, и люди могут фильтровать результаты поиска по этим полям.

Исследовательская группа публикует набор речевых данных с таблицей, в которой записано согласие говорящих, условия записи и недостаточно представленные акценты.

Лаборатория искусственного интеллекта выпускает системную карточку для чат-бота, описывающую результаты «красной команды», меры по снижению безопасности и риски, которые остаются за рамками карт базовой модели.

Будущее карточек моделей и таблиц данных для наборов данных

Документация переходит от добровольной передовой практики к требованию соответствия. Закон ЕС об искусственном интеллекте, правила закупок и стандарты, такие как ISO/IEC 42001, требуют структурированных записей о том, как система была построена и протестирована. Машиночитаемые форматы и автоматическое создание, вероятно, станут более распространенными, чтобы карты можно было проверять и сравнивать. Постоянные проблемы заключаются в обеспечении точности документов по мере обновления моделей, раскрытии достаточного количества обучающих данных без раскрытия коммерческой тайны или личной информации, а также обеспечении того, чтобы читатели действительно использовали документы при принятии решений.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Model Cards and Datasheets for Datasets quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое карты моделей и таблицы данных для наборов данных?

Карточка модели — это короткий структурированный документ, в котором объясняется, для чего предназначена модель ИИ, как она оценивалась, насколько хорошо она работает для различных групп и условий и где ее не следует использовать. Таблица данных для наборов данных делает то же самое для обучающих данных: почему данные были собраны, что они содержат, как они были собраны и помечены и как их следует хранить. Эти документы имеют большое значение, поскольку они позволяют покупателям, пользователям, аудиторам и регулирующим органам судить о том, соответствует ли система своему назначению, а такие законы, как Закон ЕС об искусственном интеллекте, теперь требуют аналогичной документации.

Какова основная цель типовой карты?

Карточка модели дает читателям все, что им нужно, чтобы судить, подходит ли модель для конкретного использования, в том числе там, где она работает плохо.

Кто возглавлял газету, предлагающую модели карточек?

Маргарет Митчелл и ее коллеги представили «Модельные карты для модельной отчетности» на ACM FAT* в 2019 году.

Что такое дезагрегированная оценка?

Разделение результатов по подгруппам выявляет сбои, которые скрывает общее среднее значение.

Из какой области заимствована идея Datasheets for Datasets?

Электронные компоненты поставляются с паспортами, в которых описаны их характеристики. Гебру и его коллеги применили эту идею к наборам данных.

Чем системная карта отличается от карты базовой модели?

Системные карточки, такие как OpenAI для GPT-4, описывают риски развернутого продукта, «красную команду» и меры безопасности.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →