Какво стана
Google DeepMind обяви пилотен проект за това, което описва като първата двойно-сляпа оценка на патентован AI модел от граничен клас. Пробната версия използва модел Gemini Flash Lite и поверителни бенчмаркове, предоставени от външни оценители.
Google DeepMind каза на 27 август, че пилотира двойно-сляпо оценяване, при което външно тестване се провежда в криптографска среда. Компанията описа проекта като първата подобна оценка на патентован AI модел от граничен клас. Моделът, който се тества, е модел Gemini Flash Lite и бенчмарковете са поверителни.
Пилотът обединява Google DeepMind, Singapore Institute, OpenMined, AVERI и MLCommons. Източникът казва, че участниците ще тестват модела спрямо поверителни бенчмаркове в среда, която запазва поверителността. Той не идентифицира въпросите за бенчмарка, не разкрива конкретната версия на модела или предоставя резултати от пилота.
Системата използва Confidential Space, част от портфолиото Confidential Computing на Google Cloud. Google казва, че средата може криптографски да провери дали данните за външна оценка и патентованият модел остават частни за съответните им собственици. Съгласно описаната подредба оценителите не могат да видят теглата на модела Gemini, докато Google не може да види тестовите подкани на оценителите.
Посоченият проблем е замърсяване на бенчмарка: моделът може да работи по-добре, ако е срещнал въпроси за оценка или подкани преди тестването. Google казва, че съществуващите процедури за нулево регистриране и договорни предпазни мерки са помогнали за запазването на поверителността на външните подкани, но твърди, че техническите и криптографските защити добавят още едно ниво на сигурност.
Съобщението насочва читателите към технически доклад за методологията и констатациите. Изходният текст не включва резултатите от доклада, независим одит, описание на протокола за криптографска проверка с достатъчно подробности, за да го оцени, или доказателство, че пилотът вече е променил производителността на модела или решенията за внедряване.
Детайли за източника: deepmind.google ↗
Защо има значение
Подходът има за цел да намали замърсяването на бенчмарка, като същевременно позволява на независими организации да тестват способни AI системи, без да получават теглата на модела или да излагат своите тестови подкани на доставчика на модела.
Резултатите от бенчмарка на AI често се използват за сравняване на системи и информиране на решения относно възможностите и безопасността. Ако даден модел или неговият разработчик има достъп до тестови материали предварително, високият резултат може отчасти да отразява познаването на оценката, а не способността, която тестът е предназначен да измери. Google разглежда двойно-сляпото тестване като начин за справяне с този проблем с достоверността.
Предложената договореност е насочена към практически конфликт при външното оценяване. В исторически план, според Google, оценителите или са споделяли подкани с доставчика на модела, или са искали от доставчика да сподели теглата на модела. Първата опция може да разкрие поверителни въпроси; второто може да разкрие ценна интелектуална собственост. Пилотът е проектиран така, че да избягва необходимостта от обмен.
Оценката за запазване на поверителността може да бъде особено полезна за тестове, включващи киберсигурност или правителствени агенции, където подкани, сценарии и данни може да са чувствителни. Източникът казва, че подходът може да подкрепи независимо тестване, като същевременно запази суверенитета и сигурността на данните. Това е заявена потенциална полза, а не демонстриран резултат от този пилотен проект.
По-широкото значение зависи от това дали криптографските доказателства могат да установят какво се е случило в средата за оценка и дали външни страни могат да инспектират или валидират това доказателство по смислен начин. Поддържането на подкани и тежести скрити може да намали някои рискове, но само по себе си не показва, че даден бенчмарк е добре проектиран, че моделът е тестван изчерпателно или че резултатите се обобщават за употреба в реалния свят.
Следователно съобщението е по-скоро развитие на инфраструктурата за оценка, отколкото възможност на нов модел. Непосредствената му обществена стойност е във възможността твърденията за ИИ с високи залози да бъдат по-лесни за проверка. Ограниченията му са значителни: източникът не предлага резултати за ефективност, няма сравнение с конвенционалните оценки и все още няма доказателства, че методът е широко приложим.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
Which component of an AI application is the machine-learning model itself?
Какво да гледате след това
Основните неразрешени въпроси са дали пилотният проект работи надеждно в по-голям мащаб, колко независима е проверката, какво ще покаже техническият доклад и дали други разработчици на модели приемат сравними предпазни мерки.
Техническият доклад трябва да изясни протокола за оценка, включително каква информация може да наблюдава всеки участник, как е конфигурирана криптографската среда и какви доказателства се представят за проверяващите. Без тези подробности е трудно да се прецени колко доверие добавя пилотът извън съществуващите споразумения за поверителност и контролите за регистриране.
Ключов въпрос е дали пилотът тества само тясна комбинация от модел и бенчмарк или дали методът може да поддържа различни архитектури на модели, доставчици на оценка и чувствителни набори от данни. Практическото приемане ще зависи от цената, производителността, съвместимостта със съществуващите инструменти за тестване и способността за повтаряне на оценките в независими среди.
Наблюдателите също трябва да търсят информация за самия бенчмарк. Двойно-слепите процедури могат да помогнат за защитата на тестовите въпроси, но не могат да решат проблеми като слаб дизайн на задачата, непълно покритие, двусмислено оценяване или несъответствие между ефективността на бенчмарка и поведението при внедряване. Източникът не казва как ще бъдат решени тези проблеми.
Ролите и договореностите за надзор на участващите организации ще имат значение. Съобщението посочва няколко партньора, но не обяснява кой контролира оценката, кой може да оспори резултатите, дали някоя страна ще публикува одит или как ще се разрешават спорове относно работата на системата.
И накрая, реакцията на индустрията ще покаже дали това остава специфичен за Google експеримент или се превръща в споделена практика. Източникът казва, че пилотът има за цел да помогне на по-широката индустрия да разработи по-безопасни и по-надеждни AI системи, но не обявява ангажименти от други разработчици на модели, регулатори или независими органи за тестване. Източникът оставя отворен въпроса за по-широкото приемане, така че всеки по-широк отрасъл ефект остава да бъде определен.