Ce sa întâmplat
Google DeepMind a anunțat un pilot pentru ceea ce descrie ca fiind prima evaluare dublu-orb a unui model AI proprietar, de clasă frontieră. Testul folosește un model Gemini Flash Lite și -uri confidențiale furnizate de evaluatori externi.
Google DeepMind a declarat pe 27 august că pilotează o evaluare dublu-orb în care testele externe sunt efectuate într-un mediu criptografic. Compania a descris proiectul ca fiind prima evaluare de acest fel a unui model de IA proprietar, de clasă de frontieră. Modelul testat este un model Gemini Flash Lite, iar -urile sunt confidențiale.
Pilotul reunește Google DeepMind, Singapore Institute, OpenMined, AVERI și MLCommons. Sursa spune că participanții vor testa modelul în comparație cu criterii de referință confidențiale într-un mediu de păstrare a confidențialității. Nu identifică întrebările de referință, nu dezvăluie versiunea specifică a modelului și nu oferă rezultate din cadrul pilotului.
Sistemul folosește Confidential Space, parte a portofoliului de Confidential Computing al Google Cloud. Google spune că mediul poate verifica criptografic dacă datele de evaluare externă și modelul proprietar rămân private pentru proprietarii respectivi. Conform aranjamentului descris, evaluatorii nu pot vedea greutățile modelului Gemini, în timp ce Google nu poate vedea solicitările de testare ale evaluatorilor.
Problema menționată este contaminarea de referință: un model poate funcționa mai bine dacă a întâlnit întrebări sau solicitări de evaluare înainte de testare. Google spune că procedurile de zero-logging existente și garanțiile contractuale au contribuit la păstrarea confidențialității solicitărilor externe, dar susține că protecțiile tehnice și criptografice adaugă un alt nivel de asigurare.
Anunțul indică cititorii către un raport tehnic pentru metodologie și constatări. Textul sursă nu include rezultatele raportului, un audit independent, o descriere a protocolului de verificare criptografică suficient de detaliată pentru a-l evalua sau dovezi că pilotul a schimbat deja performanța modelului sau deciziile de implementare.
Detalii sursa: deepmind.google ↗
De ce contează
Abordarea este menită să reducă contaminarea de referință, permițând în același timp organizațiilor independente să testeze sisteme AI capabile fără a primi greutățile modelului sau a expune solicitările lor de testare furnizorului de modele.
Scorurile de referință ale AI sunt adesea folosite pentru a compara sistemele și pentru a informa deciziile privind capacitatea și siguranța. Dacă un model sau dezvoltatorul său are acces la materialul de testare în avans, un scor mare poate reflecta parțial familiaritatea cu evaluarea, mai degrabă decât capacitatea pe care testul este destinat să o măsoare. Google încadrează testarea dublu-orb ca o modalitate de a aborda această problemă de credibilitate.
Aranjamentul propus vizează un conflict practic în evaluările externe. Din punct de vedere istoric, conform Google, evaluatorii fie au împărtășit solicitări cu furnizorul de modele, fie i-au cerut furnizorului să împărtășească ponderile modelului. Prima opțiune ar putea expune întrebări confidențiale; al doilea ar putea expune proprietatea intelectuală valoroasă. Pilotul este conceput pentru a evita necesitatea schimburilor.
Evaluarea pentru păstrarea confidențialității ar putea fi utilă în special pentru testele care implică securitatea cibernetică sau agențiile guvernamentale, unde solicitările, scenariile și datele pot fi sensibile. Sursa spune că abordarea ar putea sprijini testarea independentă, păstrând în același timp suveranitatea și securitatea datelor. Acesta este un beneficiu potențial declarat, nu un rezultat demonstrat al acestui pilot.
Semnificația mai largă depinde dacă dovezile criptografice pot stabili ceea ce s-a întâmplat în mediul de evaluare și dacă părțile externe pot inspecta sau valida acele dovezi într-un mod semnificativ. Menținerea ascunse a indicațiilor și a greutăților poate reduce unele riscuri, dar nu arată în sine că un etalon de referință este bine conceput, că modelul a fost testat cuprinzător sau că rezultatele se generalizează la utilizarea în lumea reală.
Anunțul este, prin urmare, o dezvoltare a infrastructurii de evaluare, mai degrabă decât un nou model de capacitate. Valoarea sa publică imediată constă în posibilitatea de a face afirmațiile cu mize mari de IA mai ușor de analizat. Limitele sale sunt substanțiale: sursa nu oferă rezultate de performanță, nicio comparație cu evaluările convenționale și nicio dovadă că metoda poate fi implementată pe scară largă.
Mecanism interactiv: cum funcționează de fapt
Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.
Which component of an AI application is the machine-learning model itself?
Ce să urmărești în continuare
Principalele întrebări nerezolvate sunt dacă pilotul funcționează fiabil la scară mai mare, cât de independentă este verificarea, ce va arăta raportul tehnic și dacă alți dezvoltatori de modele adoptă garanții comparabile.
Raportul tehnic ar trebui să clarifice protocolul de evaluare, inclusiv ce informații poate observa fiecare participant, cum este configurat mediul criptografic și ce dovezi sunt produse pentru evaluatori. Fără aceste detalii, este dificil de judecat cât de multă încredere adaugă pilotul dincolo de acordurile de confidențialitate existente și controalele de înregistrare.
O întrebare cheie este dacă pilotul testează doar un model restrâns și o combinație de sau dacă metoda poate suporta diferite arhitecturi de model, furnizori de evaluare și seturi de date sensibile. Adoptarea practică va depinde de cost, performanță, compatibilitate cu instrumentele de testare existente și capacitatea de a repeta evaluările în medii independente.
Observatorii ar trebui să caute, de asemenea, informații despre indicatorul de referință în sine. Procedurile dublu-orb pot ajuta la protejarea întrebărilor de testare, dar nu pot rezolva probleme precum proiectarea slabă a sarcinilor, acoperirea incompletă, scorul ambiguu sau nepotrivirea între performanța de referință și comportamentul în implementare. Sursa nu spune cum vor fi tratate aceste probleme.
Rolurile și aranjamentele de supraveghere ale organizațiilor participante vor conta. Anunțul numește mai mulți parteneri, dar nu explică cine controlează evaluarea, cine poate contesta rezultatele, dacă vreo parte va publica un audit sau cum vor fi soluționate litigiile privind funcționarea sistemului.
În cele din urmă, răspunsul industriei va indica dacă acesta rămâne un experiment specific Google sau devine o practică comună. Sursa spune că pilotul este menit să ajute industria mai largă să dezvolte sisteme AI mai sigure și de încredere, dar nu anunță angajamente din partea altor dezvoltatori de modele, autorități de reglementare sau organisme independente de testare. Sursa lasă deschisă această întrebare mai largă privind adopția, așa că orice efect mai larg al industriei rămâne de determinat.