Що сталося
Google DeepMind оголосив про пілотний проект, який він описує як перше подвійне сліпе оцінювання власної моделі штучного інтелекту передового класу. Випробування використовує модель Gemini Flash Lite і конфіденційні тести, надані зовнішніми оцінювачами.
Google DeepMind 27 серпня заявив, що запускає подвійне сліпе оцінювання, у якому зовнішнє тестування проводиться всередині криптографічного середовища. Компанія описала проект як першу подібну оцінку запатентованої моделі штучного інтелекту передового класу. Тестується модель Gemini Flash Lite, а тести є конфіденційними.
Пілот об’єднує Google DeepMind, Сінгапурський інститут безпеки ШІ, OpenMined, AVERI та MLCommons. Джерело каже, що учасники перевірять модель на конфіденційних тестах у середовищі, що зберігає конфіденційність. Він не визначає контрольні питання, не розкриває конкретну версію моделі та не надає результати пілотного проекту.
Система використовує конфіденційний простір, який є частиною портфоліо Google Cloud Confidential Computing. Google каже, що середовище може криптографічно перевірити, що дані зовнішньої оцінки та власна модель залишаються приватними для відповідних власників. Відповідно до описаної схеми оцінювачі не можуть бачити вагові коефіцієнти моделі Gemini, тоді як Google не може бачити тестові підказки оцінювачів.
Зазначена проблема полягає в забрудненні еталонного тесту: модель може працювати краще, якщо вона зіткнулася з оціночними запитаннями або підказками перед тестуванням. Google каже, що існуючі процедури нульового журналювання та договірні гарантії допомогли зберегти конфіденційність зовнішніх підказок, але стверджує, що технічний і криптографічний захист додають ще один рівень гарантії.
Оголошення вказує читачам на технічний звіт із методологією та висновками. Вихідний текст не містить результатів звіту, незалежного аудиту, опису протоколу криптографічної перевірки з достатньою кількістю деталей, щоб оцінити його, або доказів того, що пілот вже змінив продуктивність моделі або рішення щодо розгортання.
Деталі джерела: deepmind.google ↗
Чому це важливо
Цей підхід має на меті зменшити забруднення еталонним тестом, дозволяючи незалежним організаціям тестувати дієздатні системи штучного інтелекту, не отримуючи вагові показники моделі та не надаючи підказки щодо тестування постачальнику моделі.
Порівняльні показники ШІ часто використовуються для порівняння систем і прийняття рішень щодо можливостей і безпеки. Якщо модель або її розробник заздалегідь мають доступ до тестового матеріалу, високий бал може частково відображати знайомство з оцінкою, а не здатність, яку має виміряти тест. Google розглядає подвійне сліпе тестування як спосіб вирішення цієї проблеми довіри.
Запропонована домовленість спрямована на практичний конфлікт під час зовнішнього оцінювання. Історично, згідно з Google, оцінювачі або ділилися підказками з постачальником моделі, або просили постачальника поділитися вагами моделі. Перший варіант може розкривати конфіденційні питання; другий може виявити цінну інтелектуальну власність. Пілот розроблений таким чином, щоб уникнути потреби в обміні.
Оцінка збереження конфіденційності може бути особливо корисною для тестів із залученням кібербезпеки або державних установ, де підказки, сценарії та дані можуть бути конфіденційними. Джерело каже, що такий підхід може підтримувати незалежне тестування, зберігаючи при цьому суверенітет і безпеку даних. Це заявлена потенційна користь, а не продемонстрований результат цього пілотного проекту.
Більш широке значення залежить від того, чи можуть криптографічні докази встановити, що сталося в середовищі оцінки, і чи можуть зовнішні сторони перевірити або перевірити ці докази значущим чином. Зберігання підказок і вагових коефіцієнтів прихованими може зменшити певні ризики, але саме по собі це не свідчить про те, що еталонний тест добре розроблено, що модель всебічно протестована або що результати узагальнюються для використання в реальному світі.
Таким чином, оголошення є розвитком інфраструктури оцінювання, а не можливостями нової моделі. Його безпосередня суспільна цінність полягає в тому, що він може полегшити перевірку заяв про штучний інтелект з високими ставками. Його обмеження є суттєвими: джерело не пропонує результатів ефективності, немає порівняння зі звичайними оцінками та поки що немає доказів того, що метод широко застосовується.
Інтерактивний механізм: як він насправді працює
Дослідіть технологію, що лежить в основі цієї розробки, в інтерактивному режимі.
Which component of an AI application is the machine-learning model itself?
Що дивитися далі
Основні невирішені питання полягають у тому, чи надійно працює пілот у великому масштабі, наскільки незалежною є перевірка, що покаже технічний звіт і чи застосовують інші розробники моделей аналогічні запобіжні заходи.
У технічному звіті має бути роз’яснено протокол оцінювання, включно з тим, яку інформацію може спостерігати кожен учасник, як налаштовано криптографічне середовище та які докази надаються рецензентам. Без цих деталей важко оцінити, наскільки пілот додає довіри за межі існуючих угод про конфіденційність і засобів контролю реєстрації.
Ключове питання полягає в тому, чи пілот тестує лише вузьку комбінацію моделі та еталонного тесту, чи метод може підтримувати різні архітектури моделей, постачальників оцінки та конфіденційні набори даних. Практичне впровадження залежатиме від вартості, продуктивності, сумісності з існуючими інструментами тестування та можливості повторного оцінювання в незалежних середовищах.
Спостерігачі також повинні шукати інформацію про сам еталон. Подвійні сліпі процедури можуть допомогти захистити тестові запитання, але вони не можуть вирішити такі проблеми, як слабкий дизайн завдання, неповне охоплення, неоднозначне оцінювання чи невідповідність між продуктивністю тесту та поведінкою під час розгортання. Як будуть вирішуватися ці проблеми, джерело не повідомляє.
Ролі організацій-учасниць і механізми нагляду матимуть значення. У повідомленні названо кілька партнерів, але не пояснюється, хто контролює оцінювання, хто може оскаржувати результати, чи буде якась сторона публікувати аудит або як будуть вирішуватися суперечки щодо роботи системи.
Нарешті, реакція галузі вкаже, чи залишається це специфічним експериментом Google, чи стане загальною практикою. Джерело каже, що пілотний проект має на меті допомогти ширшій галузі розробити безпечніші та надійніші системи штучного інтелекту, але в ньому не повідомляється про зобов’язання інших розробників моделей, регуляторів чи незалежних випробувальних органів. Джерело залишає відкритим це питання про ширше впровадження, тому будь-який ширший вплив на галузь ще належить визначити.