ДаліНаступний посібник
Точне налаштування моделей вбудовування для пошуку
технічний
Технічний КЕРІВНИЦТВО
Картки моделей і таблиці даних для наборів даних
Картка моделі — це короткий структурований документ, у якому пояснюється, для чого потрібна модель штучного інтелекту, як її оцінювали, наскільки добре вона працює для різних груп і умов і де її не слід використовувати.
На цій сторінці3 хвилини читання
Огляд
Таблиця даних для наборів даних робить те саме для навчальних даних: чому дані були зібрані, що вони містять, як їх було зібрано та позначено та як їх слід підтримувати. Ці документи мають значення, оскільки вони дозволяють покупцям, користувачам, аудиторам і регуляторам оцінити, чи відповідає система призначенню, а закони, такі як Закон ЄС про штучний інтелект, тепер вимагають подібної документації.
Глибоке занурення
Модельні картки були запропоновані Маргарет Мітчелл та її колегами в статті «Модельні картки для модельної звітності», представленій на конференції ACM FAT* у 2019 році. Пропоновані розділи — це деталі моделі, передбачуване використання, фактори (такі як демографічні чи умови навколишнього середовища), показники, дані оцінки, дані навчання, кількісний аналіз, етичні міркування, а також застереження та рекомендації. Ключова ідея полягає в дезагрегованому оцінюванні: звітність про ефективність окремо для відповідних підгруп, а не як один середній бал, який може приховати невдачі. Таблиці даних для наборів даних, створені Тімнітом Гебру та його колегами, вперше були поширені в 2018 році, а пізніше були опубліковані в Communications of the ACM. Він запозичує з таблиць даних електроніки. Творці набору даних відповідають на запитання про мотивацію, склад, процес збору, попередню обробку та маркування, використання, розповсюдження та обслуговування. Пов’язані формати включають вирази даних для наборів мовних даних і карток даних. Системні картки, які використовуються Meta і OpenAI з 2022 року та особливо для GPT-4 у 2023 році, документують всю розгорнуту систему, включаючи тестування безпеки та пом’якшення, а не лише модель. Регулювання перетворило велику частину цієї практики на вимогу. Закон ЄС про штучний інтелект вимагає технічної документації для систем штучного інтелекту високого ризику, викладених у Додатку IV. Постачальники моделей штучного інтелекту загального призначення повинні зберігати технічну документацію, надавати інформацію наступним постачальникам і публікувати короткий зміст навчання за допомогою шаблону Комісії. Поширена помилкова думка полягає в тому, що картка моделі доводить безпечність моделі. Це розкриття інформації, а не сертифікація, і картка може бути неповною, застарілою або написаною як маркетингова. Його цінність залежить від чесних обмежень і оцінок, які може відтворити хтось інший.
Стратегічний вплив
Вартість і бюджет
Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
Чіткіші рішення
Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
Контроль якості
Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Майбутнє карток моделей і таблиць даних для наборів даних
Документація переходить від добровільної передової практики до вимог відповідності. Закон ЄС про штучний інтелект, правила закупівель і стандарти, такі як ISO/IEC 42001, — усі вони передбачають структуровані записи про те, як була створена та перевірена система. Машинозчитувані формати та автоматична генерація, ймовірно, стануть більш поширеними, щоб картки можна було перевіряти та порівнювати. Постійними проблемами є збереження точності документів у міру оновлення моделей, розкриття достатньої інформації про навчальні дані без розголошення комерційної таємниці чи особистої інформації та забезпечення того, щоб читачі дійсно використовували документи під час прийняття рішень.
Реалізація в реальному світі
Лікарня, яка оцінює класифікатор уражень шкіри, читає свою картку моделі та виявляє, що точність повідомлена окремо за відтінком шкіри. Потім він вирішує запустити власну локальну перевірку перед використанням.
Репозиторій моделей Hugging Face показує картку моделі з метаданими YAML із переліком її ліцензії, навчальних наборів даних, мов і результатів тестування, і люди можуть фільтрувати результати пошуку за цими полями.
Дослідницька група публікує набір даних про мовлення разом із таблицею даних, у якій записується згода мовців, умови запису та акценти, які недостатньо представлені.
Лабораторія штучного інтелекту випускає системну картку для чат-бота, яка описує результати команди червоних команд, заходи щодо пом’якшення безпеки та ризики, які залишаються, крім того, що охоплює картка базової моделі.
Ризики та огорожі
Оптимізація одного тесту може приховати ширші слабкі сторони системи.
Витрати на інфраструктуру та обслуговування часто недооцінюються.
Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Дорожня карта впровадження
Визначте цільові показники затримки, якості та вартості перед впровадженням.
Тест за реалістичних умов навантаження та даних.
Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Cards and Datasheets for Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Часті запитання
Що таке картки моделей і таблиці даних для наборів даних?
Картка моделі — це короткий структурований документ, у якому пояснюється, для чого потрібна модель штучного інтелекту, як її оцінювали, наскільки добре вона працює для різних груп і умов і де її не слід використовувати. Таблиця даних для наборів даних робить те саме для навчальних даних: чому дані були зібрані, що вони містять, як їх було зібрано та позначено та як їх слід підтримувати. Ці документи мають значення, оскільки вони дозволяють покупцям, користувачам, аудиторам і регуляторам оцінити, чи відповідає система призначенню, а закони, такі як Закон ЄС про штучний інтелект, тепер вимагають подібної документації.
Яке основне призначення карти моделі?
Картка моделі дає читачам те, що їм потрібно, щоб визначити, чи підходить модель для певного використання, включно з тим, де вона працює погано.
Хто очолив статтю, яка запропонувала моделі карток?
Маргарет Мітчелл та її колеги представили «Модельні картки для модельної звітності» на ACM FAT* у 2019 році.
Що таке дезагреговане оцінювання?
Розподіл результатів за підгрупами виявляє помилки, які загальне середнє значення приховало б.
Таблиці даних для наборів даних запозичили свою ідею з якої області?
Електронні компоненти постачаються з технічними характеристиками, які описують їхні характеристики. Гебру та його колеги застосували цю ідею до наборів даних.
Чим системна карта відрізняється від карти базової моделі?
Системні картки, такі як OpenAI для GPT-4, описують ризики розгорнутого продукту, червоне об’єднання та запобіжні заходи.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми