Co se stalo
Cohere tvrdí, že plán připsaný generálnímu řediteli Anthropic Dariu Amodei nesprávně požaduje vládní povolení pro velké laboratoře umělé inteligence ke koordinaci bezpečnostních standardů a vývojových limitů. Příspěvek navrhuje hlášení incidentů, pozorovatelnost, bezpečnostní opatření specifická pro nasazení a širší účast na tvorbě pravidel.
Ve zdroji Cohere tvrdí, že malé skupině dominantních společností s umělou inteligencí ze Silicon Valley by nemělo být dovoleno definovat bezpečnostní standardy pro širší průmysl a zároveň určovat tempo technologického rozvoje. Charakterizuje plán Anthropic, připisovaný generálnímu řediteli Dariu Amodeiovi a popisovaný tak, jak byl zveřejněn ten týden, jako požadavek na úzkou antimonopolní výjimku, aby konkurenční laboratoře mohly koordinovat společné standardy a limity vývoje.
Příspěvek říká, že Cohere podporuje nezávislou kontrolu vysoce schopných systémů umělé inteligence, ale je sporné, kdo by psal standardy, dohlížel na recenzenty a rozhodoval o tom, kteří vývojáři a veřejné zainteresované strany se zúčastní. Tvrdí, že rámce zaměřené na výpočetní prahy, rozsáhlé modelové a hraniční laboratoře by mohly přehlédnout rizika menších systémů, agentů využívajících nástroje, skupin koordinovaných agentů a modelů nasazených v citlivých prostředích.
Cohere navrhuje přístup založený na rizicích, který se zaměřuje na hlášení závažných incidentů, testování známých poruchových režimů, pozorovatelnost nebo protokolování zkušební doby a izolování systémů připojených ke kritické infrastruktuře. Tvrdí také, že ochranná opatření by měla záviset na tom, co systém umí a k čemu má přístup, spíše než pouze na velikosti společnosti, která jej vybudovala. Toto jsou návrhy ve zdroji, nikoli hlášené požadavky vlády.
Zdroj také spojuje argumentaci politiky s komerční preferencí Cohere pro systémy nasazené na infrastruktuře kontrolované zákazníky nebo vládami. Říká, že technologická rozmanitost a místní nasazení mohou snížit závislost na jediném poskytovateli, a zároveň uznává, že samotná Cohere by neměla být jediným tvůrcem pravidel.
Podrobnosti o zdroji: cohere.com ↗
Proč na tom záleží
Spor se týká toho, kdo by definoval závazná ochranná opatření pro stále schopnější systémy umělé inteligence a zda by bezpečnostní pravidla mohla posílit tržní sílu zavedených laboratoří. Cohereova pozice je komerčně zajímavá, ale vyvolává praktické otázky týkající se odpovědnosti, konkurence, nezávislého hodnocení a záruk pro AI nasazenou v nemocnicích, finančních sítích, kritické infrastruktuře a vládních systémech. Zdroj netvrdí, že byla udělena nějaká výjimka nebo že byly přijaty jeho návrhy.
Pokud je popis zdroje přesný, navrhované uspořádání by zvýšilo napětí mezi koordinací bezpečnosti a soutěžním právem. Sdílené standardy mohou snížit duplicitní práci a usnadnit porovnávání rizik, ale pravidla navržená primárně zavedenými vývojáři by také mohla zachovat jejich výhody a učinit jejich interní bezpečnostní předpoklady výchozími průmyslovými.
Zdroj zdůrazňuje následnou otázku návrhu: zda by měl být dohled vyvolán velikostí modelu nebo výpočetními požadavky, nebo schopnostmi systému, kontextem nasazení, nástroji a přístupem k reálné infrastruktuře. Tento rozdíl je důležitý, protože méně výkonný systém může stále způsobit vážné škody, když je připojen k nemocnicím, platebním sítím, veřejným službám nebo citlivým datům.
Argument není nezávislým důkazem, že návrh Anthropic by vytvořil kartel, že stávající bezpečnostní systémy selhaly popsaným způsobem nebo že místní nasazení je kategoricky bezpečnější. To jsou tvrzení a rozsudky společnosti Cohere. Příspěvek neposkytuje žádnou vládní reakci, právní analýzu, nezávislé hodnocení ani důkazy ukazující, jak by tvůrci politik implementovali jeho alternativy.
Interaktivní mechanismus: Jak to vlastně funguje
Interaktivně prozkoumejte základní technologii tohoto vývoje.
Why can ethical evaluation not be reduced to one model score?
Na co se dále dívat
Klíčovým vývojem je, zda vlády formálně zváží navrhovanou antimonopolní výjimku, zda Anthropic nebo jiné laboratoře zareagují a zda tvůrci politik sledují prahové hodnoty založené na velikosti společnosti nebo na výpočtech. Sledujte také konkrétní pravidla pro hlášení incidentů, protokolování, izolaci nasazení, nezávislé testování a účast menších vývojářů, výzkumníků, občanské společnosti a dotčených vlád.
Ve zdroji nejsou zdokumentovány žádné antimonopolní výjimky, závazný standard, veřejná konzultace, harmonogram implementace nebo cenová a přístupová podmínka. Není také jasné, které vlády návrh zvažují, zda jej Anthropic formálně předložila regulačním orgánům a zda jej podporují další velké laboratoře.
Další podávání zpráv by mělo ověřit text a stav cestovní mapy Anthropic, identifikovat společnosti a zapojené regulační orgány a porovnat návrh se stávajícími pravidly hospodářské soutěže, bezpečnosti a kritické infrastruktury. Odpovědi od Anthropic, úřadů pro hospodářskou soutěž, nezávislých hodnotitelů a skupin občanské společnosti by objasnily, zda se neshoda týká právní koordinace, technických prahů, správy nebo preferovaného modelu nasazení Cohere.
Praktickou zkouškou bude, zda výsledný rámec vyžaduje měřitelné kontroly: odhalení incidentů, nezávislost auditu, protokolování, lidský dohled, omezení přístupu a izolace od kritických systémů. Bude také záležet na tom, zda se menší laboratoře, open-source vývojáři, výzkumníci a dotčené komunity mohou podílet na stanovení a zpochybnění těchto požadavků.