Cosa è successo
Cohere sostiene che una tabella di marcia attribuita al CEO di Anthropic Dario Amodei cerca impropriamente il permesso del governo affinché i principali laboratori di intelligenza artificiale si coordinino sugli standard di sicurezza e sui limiti di sviluppo. Il post propone la segnalazione degli incidenti, l’osservabilità, le salvaguardie specifiche per l’implementazione e una più ampia partecipazione alla regolamentazione.
Nella fonte, Cohere sostiene che a un piccolo gruppo di aziende dominanti nel campo dell’intelligenza artificiale della Silicon Valley non dovrebbe essere consentito di definire standard di sicurezza per l’industria in generale, determinando allo stesso tempo il ritmo dello sviluppo tecnologico. Caratterizza la roadmap Anthropic, attribuita all'amministratore delegato Dario Amodei e descritta come pubblicata quella settimana, come la ricerca di una deroga antitrust ristretta in modo che i laboratori concorrenti possano coordinarsi su standard condivisi e limiti di sviluppo.
Il post afferma che Cohere sostiene la revisione indipendente di sistemi di intelligenza artificiale altamente capaci, ma contesta chi scriverebbe gli standard, supervisionerebbe i revisori e deciderebbe quali sviluppatori e parti interessate pubbliche parteciperanno. Sostiene che i quadri incentrati su soglie di calcolo, modelli su larga scala e laboratori di frontiera potrebbero trascurare i rischi derivanti da sistemi più piccoli, agenti che utilizzano strumenti, gruppi di agenti coordinati e modelli implementati in ambienti sensibili.
Cohere propone un approccio basato sul rischio incentrato sulla segnalazione di incidenti gravi, sul test delle modalità di guasto note, sull’osservabilità o sulla registrazione del tempo di test e sull’isolamento dei sistemi collegati alle infrastrutture critiche. Sostiene inoltre che le salvaguardie dovrebbero dipendere da ciò che un sistema può fare e a cosa può accedere, piuttosto che solo dalle dimensioni dell’azienda che lo ha costruito. Queste sono proposte nella fonte, non requisiti governativi riportati.
La fonte collega anche l’argomentazione politica alla preferenza commerciale di Cohere per i sistemi implementati su infrastrutture controllate da clienti o governi. Afferma che la diversità tecnologica e l’implementazione locale possono ridurre la dipendenza da un unico fornitore, pur riconoscendo che Cohere stessa non dovrebbe essere l’unico regolatore.
Dettagli della fonte: cohere.com ↗
Perché è importante
La controversia riguarda chi definirebbe garanzie vincolanti per sistemi di IA sempre più capaci e se le norme di sicurezza potrebbero rafforzare il potere di mercato dei laboratori storici. La posizione di Cohere è interessante dal punto di vista commerciale, ma solleva questioni pratiche sulla responsabilità, sulla concorrenza, sulla valutazione indipendente e sulle salvaguardie per l’intelligenza artificiale utilizzata negli ospedali, nelle reti finanziarie, nelle infrastrutture critiche e nei sistemi governativi. La fonte non dimostra che sia stata concessa alcuna deroga o che le sue proposte siano state adottate.
Se la descrizione della fonte fosse accurata, l’accordo proposto solleverebbe una tensione tra il coordinamento per la sicurezza e il diritto della concorrenza. Gli standard condivisi possono ridurre il lavoro duplicato e rendere i rischi più facili da confrontare, ma le regole progettate principalmente dagli sviluppatori storici potrebbero anche preservare i loro vantaggi e rendere i loro presupposti di sicurezza interni valori predefiniti del settore.
La fonte evidenzia una questione di progettazione consequenziale: se la supervisione debba essere innescata dalle dimensioni di un modello o dai requisiti di calcolo, oppure dalle capacità del sistema, dal contesto di distribuzione, dagli strumenti e dall’accesso all’infrastruttura del mondo reale. Questa distinzione è importante perché un sistema meno potente può comunque creare gravi danni se connesso a ospedali, reti di pagamento, servizi pubblici o dati sensibili.
L’argomentazione non costituisce una prova indipendente del fatto che la proposta di Anthropic creerebbe un cartello, che i sistemi di sicurezza esistenti hanno fallito nel modo descritto o che l’implementazione locale è categoricamente più sicura. Queste sono affermazioni e giudizi espressi da Cohere. Il post non fornisce alcuna risposta del governo, analisi giuridica, valutazione indipendente o prova che mostri come i politici implementerebbero le sue alternative.
Meccanismo interattivo: come funziona realmente
Esplora la tecnologia alla base di questo sviluppo in modo interattivo.
Why can ethical evaluation not be reduced to one model score?
Cosa guardare dopo
Gli sviluppi chiave riguardano se i governi prenderanno formalmente in considerazione la proposta di esenzione antitrust, se Anthropic o altri laboratori risponderanno e se i politici perseguiranno soglie basate sulle dimensioni dell’azienda o basate sul calcolo. Cerca anche regole concrete sulla segnalazione degli incidenti, sulla registrazione, sull’isolamento della distribuzione, sui test indipendenti e sulla partecipazione di piccoli sviluppatori, ricercatori, società civile e governi interessati.
Nella fonte non è documentata alcuna deroga antitrust, standard vincolante, consultazione pubblica, calendario di implementazione o condizioni di prezzo e di accesso. Non è inoltre chiaro quali governi stiano prendendo in considerazione la proposta, se Anthropic l’abbia formalmente presentata alle autorità di regolamentazione e se altri importanti laboratori la sostengano.
Ulteriori relazioni dovrebbero verificare il testo e lo stato della tabella di marcia Anthropic, identificare le aziende e le autorità di regolamentazione coinvolte e confrontare la proposta con le norme esistenti in materia di concorrenza, sicurezza e infrastrutture critiche. Le risposte di Anthropic, autorità garanti della concorrenza, valutatori indipendenti e gruppi della società civile chiarirebbero se il disaccordo riguarda il coordinamento legale, le soglie tecniche, la governance o il modello di implementazione preferito di Cohere.
La prova pratica sarà se l’eventuale quadro risultante richiede controlli misurabili: divulgazione degli incidenti, indipendenza dagli audit, registrazione, supervisione umana, restrizioni di accesso e isolamento dai sistemi critici. Sarà importante anche se i laboratori più piccoli, gli sviluppatori open source, i ricercatori e le comunità interessate potranno partecipare alla definizione e alla sfida di tali requisiti.