РУКОВОДСТВО ПО ОБЩЕСТВУ

Институты безопасности искусственного интеллекта по всему миру

Институты безопасности ИИ — это государственные органы, которые тестируют и изучают передовые модели ИИ.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее институтов безопасности искусственного интеллекта по всему миру
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Они сосредоточены на таких рисках, как кибератаки, неправильное использование химических и биологических веществ и потеря контроля со стороны человека, часто оценивая модели перед их публичной публикацией. Они имеют значение, поскольку предоставляют правительствам независимую техническую экспертизу в области передового ИИ, хотя большинство из них зависят от добровольного сотрудничества со стороны компаний, а не от юридических полномочий.

Глубокое погружение

Великобритания создала свой Институт безопасности ИИ в ноябре 2023 года во время Саммита по безопасности ИИ в Блетчли-Парке. Она выросла из Frontier AI Taskforce и стала одной из наиболее финансируемых правительственных групп по оценке ИИ, нанимая исследователей из ведущих лабораторий. В феврале 2025 года он был переименован в Институт безопасности искусственного интеллекта. Новое название отражает более узкий акцент на вреде национальной безопасности, таком как кибернеправомерное использование, химические и биологические риски и преступность, а не на более широкие проблемы, такие как предвзятость. Институт безопасности искусственного интеллекта США был создан в рамках NIST в конце 2023 года после указа президента Байдена об искусственном интеллекте. В июне 2025 года Министерство торговли реорганизовало его в Центр стандартов и инноваций ИИ (CAISI). Мандат сместился в сторону добровольных стандартов, оценок, важных для национальной безопасности, и оценки иностранных систем искусственного интеллекта, при этом отказавшись от бренда «безопасности». Подобные органы созданы в Японии, Сингапуре, Канаде, Южной Корее, Франции и других странах. У Управления искусственного интеллекта ЕС есть некоторые параллельные функции, но оно является регулятором. В ноябре 2024 года Международная сеть институтов безопасности ИИ провела свое первое заседание в Сан-Франциско. Его членами-основателями были Австралия, Канада, ЕС, Франция, Япония, Кения, Южная Корея, Сингапур, Великобритания и США. Распространенным заблуждением является то, что эти институты могут блокировать выпуск моделей. Органы Великобритании и США не имеют общих законодательных полномочий принуждать к доступу или прекращать развертывание. Доступ к ним осуществляется на основе добровольных соглашений, а их выводы формируют политику и решения компаний, не будучи обязательными. Управление искусственного интеллекта ЕС отличается: в соответствии с Законом об искусственном интеллекте оно может запрашивать информацию у поставщиков моделей искусственного интеллекта общего назначения с системным риском и налагать на них обязательства.

Реальная реализация

Институты Великобритании и США совместно протестировали обновленный Claude 3.5 Sonnet и OpenAI o1 перед развертыванием и опубликовали резюме результатов в конце 2024 года.

Британский институт выпустил Inspect, платформу с открытым исходным кодом, которую исследователи и правительства других стран используют для создания и проведения оценок ИИ.

В 2024 году американский институт подписал соглашения с OpenAI и Anthropic, которые предоставили ему доступ к основным новым моделям до и после публичного выпуска.

Институты из нескольких стран провели совместное тестирование для сравнения методов, например, оценки поведения агентов на разных языках.

Будущее институтов безопасности искусственного интеллекта по всему миру

Роль институтов все еще меняется. Некоторые из них перешли от широких исследований безопасности к национальной безопасности, стандартам и промышленной конкурентоспособности, и их приоритеты могут продолжать меняться вместе с правительствами. Ключевые открытые вопросы заключаются в том, получит ли кто-либо из них законодательные полномочия, как их работа будет связана с регулирующими органами, такими как Управление искусственного интеллекта ЕС, и будет ли международное сотрудничество углубляться или разделяться по геополитическим линиям. Их долгосрочная ценность может зависеть от общих, воспроизводимых методов оценки и достаточного финансирования, чтобы не отставать от передовых лабораторий.

Применение на практике

Почему это важно

  • Риски и безопасность. Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать.
  • Более четкие решения. Общественная и профессиональная грамотность определяет, возможна ли с политической точки зрения сильная политика безопасности.
  • Пробивая шумиху. Четкие объяснения уменьшают влияние шумихи, лабораторного пиара и расплывчатого этического театра.

Следите за

  • Относитесь к экзистенциальному риску как к научной фантастике, в то время как возможности растут.
  • Сбивает с толку безопасность поверхности продукта и выравнивание при высокой автономности.
  • Оставляя неанглоязычную и неспециалистскую аудиторию только с некачественными источниками.

Следующие шаги

  1. Отдельные риски повреждения продукта, неправильного использования и потери контроля/перекоса.
  2. Спросите, какие доказательства могут изменить ваше мнение о сроках и серьезности.
  3. Предпочитайте первоисточники и конкретные оценки маркетинговым заявлениям.
  4. Определите один путь действий: карьера, политика, финансирование или навыки, а не только осведомленность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the AI Safety Institutes Around the World quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое институты безопасности ИИ по всему миру?

Институты безопасности ИИ — это государственные органы, которые тестируют и изучают передовые модели ИИ. Они сосредоточены на таких рисках, как кибератаки, неправильное использование химических и биологических веществ и потеря контроля со стороны человека, часто оценивая модели перед их публичной публикацией. Они имеют значение, поскольку предоставляют правительствам независимую техническую экспертизу в области передового ИИ, хотя большинство из них зависят от добровольного сотрудничества со стороны компаний, а не от юридических полномочий.

Как был переименован Британский институт безопасности искусственного интеллекта в феврале 2025 года?

Новое название — Институт безопасности искусственного интеллекта — отражает более узкую ориентацию на риски национальной безопасности, такие как кибернетическое, химическое и биологическое использование, а также преступность.

В какой орган в 2025 году был реорганизован Институт безопасности искусственного интеллекта США?

Министерство торговли превратило его в CAISI, который занимается стандартами, оценками национальной безопасности и оценкой иностранных систем.

Где прошла первая встреча Международной сети институтов безопасности ИИ?

Первая встреча состоялась в Сан-Франциско в ноябре 2024 года.

Какую юридическую силу обычно имеют институты Великобритании и США в отношении публикации моделей?

Доступ к ним осуществляется на основе добровольных соглашений, а их выводы носят скорее рекомендательный, чем обязательный характер.

Что такое инспекция?

Inspect организует оценки в наборы данных, решатели и системы оценки, а также поддерживает изолированное тестирование агентов.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →