Що сталося
Cohere стверджує, що дорожня карта, приписувана генеральному директору Anthropic Даріо Амодеї, неправомірно запитує державний дозвіл для великих лабораторій ШІ на координацію стандартів безпеки та обмежень розвитку. Ця посада пропонує звітування про інциденти, спостережливість, запобіжні заходи, пов’язані з розгортанням, і більш широку участь у виробленні правил.
У джерелі Cohere стверджує, що не можна дозволити невеликій групі домінуючих компаній ШІ Кремнієвої долини визначати стандарти безпеки для ширшої галузі, водночас визначаючи темпи технологічного розвитку. Він характеризує дорожню карту Anthropic, приписувану генеральному директору Даріо Амодеї та описану як опубліковану того тижня, як пошук вузького антимонопольного права, щоб конкуруючі лабораторії могли координувати спільні стандарти та обмеження розвитку.
У дописі йдеться, що Cohere підтримує незалежну перевірку високопродуктивних систем штучного інтелекту, але заперечує, хто буде писати стандарти, наглядати за рецензентами та вирішувати, які розробники та громадські зацікавлені сторони беруть участь. У ньому стверджується, що структури, зосереджені на порогових значеннях обчислень, великих моделях і передових лабораторіях, можуть не помічати ризики від менших систем, агентів, що використовують інструменти, скоординованих груп агентів і моделей, розгорнутих у чутливих середовищах.
Cohere пропонує підхід, заснований на оцінці ризиків, зосереджений на звітах про серйозні інциденти, тестуванні відомих режимів збоїв, спостереженні під час тестування або реєстрації та ізоляції систем, підключених до критичної інфраструктури. Також стверджується, що гарантії повинні залежати від того, що може робити система і до чого вона може отримати доступ, а не лише від розміру компанії, яка її створила. Це пропозиції в джерелі, а не заявлені вимоги уряду.
Джерело також пов’язує політичний аргумент із комерційною перевагою Cohere для систем, розгорнутих на інфраструктурі, контрольованій клієнтами або урядами. У ньому сказано, що різноманітність технологій і локальне розгортання можуть зменшити залежність від одного постачальника, водночас визнаючи, що сама Cohere не повинна бути єдиним творцем правил.
Чому це важливо
Суперечка стосується того, хто буде визначати обов’язкові гарантії для все більш потужних систем штучного інтелекту та чи можуть правила безпеки зміцнити ринкову владу існуючих лабораторій. Позиція Cohere є комерційно цікавою, але вона піднімає практичні питання щодо підзвітності, конкуренції, незалежної оцінки та гарантій для штучного інтелекту, розгорнутого в лікарнях, фінансових мережах, критичній інфраструктурі та державних системах. Джерело не підтверджує, що було надано будь-яку відмову або що його пропозиції були прийняті.
Якщо опис джерела точний, запропонована домовленість призведе до напруги між координацією безпеки та законодавством про конкуренцію. Спільні стандарти можуть зменшити повторювану роботу та полегшити порівняння ризиків, але правила, розроблені в основному постійними розробниками, також можуть зберегти їхні переваги та зробити їхні внутрішні припущення безпеки галузевими стандартами.
Джерело підкреслює наступне питання щодо дизайну: чи слід ініціювати нагляд через розмір моделі чи вимоги до обчислень, чи через можливості системи, контекст розгортання, інструменти та доступ до інфраструктури реального світу. Ця різниця має значення, тому що менш потужна система все одно може завдати серйозної шкоди при підключенні до лікарень, платіжних мереж, комунальних послуг або конфіденційних даних.
Аргумент не є незалежним доказом того, що пропозиція Anthropic створить картель, що існуючі системи безпеки вийшли з ладу описаним способом або що локальне розгортання є категорично безпечнішим. Це претензії та судження, зроблені Cohere. Повідомлення не містить відповіді уряду, правового аналізу, незалежної оцінки чи доказів того, як політики втілять альтернативи.
Інтерактивний механізм: як він насправді працює
Дослідіть технологію, що лежить в основі цієї розробки, в інтерактивному режимі.
Why can ethical evaluation not be reduced to one model score?
Що дивитися далі
Ключові події полягають у тому, чи уряди офіційно розглядають запропоноване антимонопольне звільнення, чи реагує Anthropic або інші лабораторії, і чи встановлюють політики розмір компанії або обчислювальні пороги. Слідкуйте також за конкретними правилами щодо звітування про інциденти, журналювання, ізоляції розгортання, незалежного тестування та участі невеликих розробників, дослідників, громадянського суспільства та постраждалих урядів.
У джерелі не задокументовано жодної відмови від антимонопольного законодавства, обов’язкового стандарту, громадських консультацій, графіка впровадження чи умови ціноутворення та доступу. Також незрозуміло, які уряди розглядають цю пропозицію, чи Anthropic офіційно подав її регуляторам і чи підтримують її інші великі лабораторії.
Подальші звіти мають підтвердити текст і статус дорожньої карти Anthropic, визначити залучені компанії та регулятори та порівняти пропозицію з існуючими правилами конкуренції, безпеки та критичної інфраструктури. Відповіді Anthropic, органів з питань конкуренції, незалежних оцінювачів і груп громадянського суспільства мають уточнити, чи стосується розбіжності щодо юридичної координації, технічних порогових значень, управління чи бажаної моделі розгортання Cohere.
Практичний тест полягатиме в тому, чи вимагає будь-яка кінцева структура вимірних засобів контролю: розкриття інцидентів, незалежність аудиту, журналювання, нагляд з боку людини, обмеження доступу та ізоляція від критичних систем. Також матиме значення те, чи зможуть невеликі лабораторії, розробники з відкритим кодом, дослідники та відповідні спільноти брати участь у встановленні та оскарженні цих вимог.