Вернуться к новостям
ПолитикаAI Understanding брифинг

Ньюсом назначает экспертов для улучшения функции аварийного отключения ИИ и надзора

Губернатор Ньюсом объявил, что группа ведущих экспертов будет консультировать по его указу об искусственном интеллекте, сосредоточив внимание на независимом надзоре и создании потенциального «защитного переключателя» для мошеннических пограничных моделей.

4 min readRead the linked source
Source-provided image accompanying Newsom appoints experts to advance AI kill switch and oversight
Ссылка на источникИсточник записан
Издатель
gov.ca.gov
Ссылка на источник
gov.ca.govhttps://www.gov.ca.gov/2026/09/23/governor-newsom-announces-world-leading-experts-to-deliver-on-his-ai-executive-order-including-advancing-creation-of-a-kill-switch/
Тип источника
Связанный источник — статус первоисточника не установлен.
КонтекстПоймите это за 60 секунд

Начните здесь

Ключевые термины

Искусственный интеллект (ИИ)
Широкая область создания систем, выполняющих задачи, требующие распознавания образов, рассуждения, языка или принятия решений.
Выравнивание ИИ
Работа по обеспечению поведения систем ИИ в соответствии с человеческими намерениями, ценностями и ограничениями безопасности.
Безопасность ИИ
Область, ориентированная на снижение вредного поведения, сбоев и рисков неправильного использования в системах искусственного интеллекта.
Проверьте себяВикторина по этике ИИ

Что случилось

Губернатор Гэвин Ньюсом объявил о создании группы экспертов для консультирования по исполнительному указу Калифорнии об искусственном интеллекте, целью которого является ускорение независимого надзора и разработка «аварийного выключателя» для передовых моделей искусственного интеллекта.

Губернатор Гэвин Ньюсом объявил о создании группы ведущих экспертов для консультирования по рекомендациям, требуемым его недавним указом об искусственном интеллекте. Приказ направлен на ускорение независимого надзора за компаниями, занимающимися искусственным интеллектом, и на содействие созданию потенциального «автоматического переключателя» для мошеннических пограничных моделей. Экспертная группа, в которую входят специалисты в области технологий, политики и управления, будет взаимодействовать с техническими исследователями, чтобы руководить управлением безопасностью и безопасностью искусственного интеллекта в Калифорнии.

Рассматриваемые предложения включают требование о привлечении независимых третьих сторон к передовым компаниям, занимающимся искусственным интеллектом, для проверки систем безопасности и независимой оценки оценок безопасности. Кроме того, указ предписывает Агентству правительственных операций ускорить сроки реализации законопроекта Сената 813 и законопроекта 1405, которые устанавливают основу для независимых проверочных организаций и государственного реестра аудиторов ИИ соответственно.

В число объявленных экспертов входят Джейсон Голдман, бывший директор по цифровым технологиям Белого дома; Джиллиан Хэдфилд, профессор Университета Джонса Хопкинса, специализирующаяся на согласовании ИИ; Алондра Нельсон, профессор Института перспективных исследований; и Роб Райх, профессор Стэнфордского университета. Эти люди помогут применить свой опыт к быстро развивающимся возможностям искусственного интеллекта и решить проблемы, связанные с безопасностью и защищенностью.

Подробности об источнике: gov.ca.gov

Почему это важно

Этот шаг создает конкретный механизм на уровне штата для независимой проверки заявлений о безопасности ИИ и возможностей аварийного отключения, устраняя значительный пробел в существующей нормативной базе, где федеральный надзор отсутствует или ограничен. Это сигнализирует о переходе к обязательному стороннему аудиту и техническому контролю безопасности для систем искусственного интеллекта с высоким уровнем риска.

Калифорния позиционирует себя как лидер в регулировании ИИ, создавая структурированный подход к независимой проверке и возможностям аварийного отключения. Это важно, поскольку в настоящее время ни один федеральный закон не требует от компаний, занимающихся искусственным интеллектом, сообщать об опасных инцидентах или не предписывает особые меры безопасности для передовых моделей.

Внедрение концепции «аварийного выключателя» для передовых моделей представляет собой практический технический контроль, который может снизить риски, связанные с автономным или несанкционированным поведением ИИ. Встраивая независимые третьи стороны в компании, занимающиеся искусственным интеллектом, государство стремится гарантировать, что заявления о безопасности проверяются организациями, не имеющими финансовой заинтересованности в успехе компании.

Этот указ основан на существующем законодательстве Калифорнии, в том числе SB 53 (Закон о прозрачности пограничного искусственного интеллекта) и SB 813, создавая комплексную нормативную базу, охватывающую стандарты безопасности пограничной модели, независимый надзор и стандарты безопасности детей. Это обеспечивает модель для подражания другим штатам и, возможно, федеральному правительству.

Interactive Mechanism

Интерактивный механизм: как он на самом деле работает

Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
Интерактивная проверка концепции+10 Points
AI Ethics Quiz

Impossibility results in algorithmic fairness (e.g. Kleinberg et al., Chouldechova) show what?

Что посмотреть дальше

Следите за конкретными техническими рекомендациями, касающимися реализации аварийного выключателя, сроками реализации SB 813 и AB 1405, а также любым ответом федерального правительства на расширяющуюся нормативную базу искусственного интеллекта в Калифорнии.

Конкретные технические характеристики и осуществимость предлагаемого «аварийного выключателя» для передовых моделей будут ключевым направлением внимания. Как этот механизм будет реализован в различных архитектурах ИИ и компаниях, еще предстоит определить.

Сроки реализации SB 813 и AB 1405 имеют решающее значение. Ускорение этих сроков может привести к более раннему развертыванию независимых проверочных организаций и реестров аудиторов ИИ, что окажет немедленное практическое влияние на работу компаний ИИ в Калифорнии.

Реакция индустрии искусственного интеллекта и федерального правительства на расширение нормативной базы Калифорнии будет иметь важное значение. Губернатор призвал Конгресс и президента принять или использовать калифорнийскую структуру в качестве основы для национальных стандартов, что может привести к дальнейшему развитию политики или конфликтам.

Сопутствующие руководства и викторины

Этика ИИБудущее ИИОбъяснение моделей искусственного интеллектаПроверьте свои знания — пройдите бесплатную викторину по искусственному интеллектуНайдите термин ИИ в нашем глоссарии.
Нашли это полезным?