社会ガイド

世界中の AI 安全性研究所

AI 安全性研究所は、高度な AI モデルをテストおよび研究する政府機関です。

  • 3 分で読めます
  • 最終更新日
このページでは3 分で読めます
  1. 概要
  2. ディープダイブ
  3. 戦略的影響
  4. 世界中の AI 安全性研究所の将来
  5. 現実世界の実装
  6. リスクとガードレール
  7. 実装ロードマップ
  8. 探検を続けましょう
  9. よくある質問

概要

彼らはサイバー攻撃、化学的および生物学的誤用、人間による制御の喪失などのリスクに焦点を当てており、多くの場合、公開前にモデルを評価します。これらは政府にフロンティア AI に関する独立した技術的専門知識を与えるため重要ですが、そのほとんどは法的権限ではなく企業からの自発的な協力に依存しています。

ディープダイブ

英国は、ブレッチリー パーク AI 安全サミットに合わせて、2023 年 11 月に AI 安全研究所を設立しました。これはフロンティア AI タスクフォースから発展し、主要な研究所から研究者を雇用し、最も資金が豊富な政府の AI 評価チームの 1 つになりました。 2025 年 2 月に AI Security Institute に改名されました。新しい名前は、偏見などの広範な問題ではなく、サイバー悪用、化学的および生物学的リスク、犯罪などの国家安全保障上の危害に焦点を絞ったことを反映しています。米国AI安全研究所は、バイデン大統領のAIに関する大統領令を受けて、2023年末にNIST内に設立された。 2025 年 6 月、商務省は AI 標準とイノベーション センター (CAISI) として再組織しました。この義務は、「安全」というブランドを削除しながら、自主基準、国家安全保障関連の評価、外国の AI システムの評価へと移行しました。日本、シンガポール、カナダ、韓国、フランスなどが同様の団体を設立している。 EU の AI 事務局にはいくつかの並行機能がありますが、それは規制当局です。 2024 年 11 月、AI 安全性協会の国際ネットワークはサンフランシスコで初会合を開催しました。設立メンバーはオーストラリア、カナダ、EU、フランス、日本、ケニア、韓国、シンガポール、英国、米国でした。よくある誤解は、これらの機関がモデルのリリースを阻止できるということです。英国と米国の機関には、アクセスを強制したり展開を停止したりする一般的な法的権限はありません。彼らのアクセスは自主的な合意に基づいており、その調査結果は拘束力を持たずにポリシーや会社の決定を形成します。 EU AI 事務局は異なります。AI 法に基づいて、システミック リスクを伴う汎用 AI モデルのプロバイダーに情報を要求し、義務を課すことができます。

戦略的影響

リスクと安全性

AI による壊滅的な被害も日常的な被害も、誰がリスクを理解し、誰が行動できるかにかかっています。

より明確な判決

国民と専門家のリテラシーは、強力な安全政策が政治的に可能かどうかを左右します。

誇大広告を打ち破る

明確な説明は、誇大広告、研究室の PR、曖昧な倫理劇場に囚われることを減らします。

世界中の AI 安全性研究所の将来

研究機関の役割は依然として変化し続けています。広範な安全性研究から国家安全保障、規格、産業競争力に移行した研究者もおり、その優先順位は政府とともに変化し続ける可能性がある。主要な未解決の問題は、彼らの誰かが法的権限を得るのか、彼らの仕事がEU AI事務局などの規制当局とどのように結びつくのか、そして国際協力が地政学的な線に沿って深化するのか分裂するのかということである。その長期的な価値は、共有された再現可能な評価方法と、フロンティアラボに追いつくための十分な資金に依存する可能性があります。

現実世界の実装

英国と米国の研究所は、展開前にアップグレードされた Claude 3.5 Sonnet と OpenAI の o1 を共同でテストし、2024 年後半に結果の概要を発表しました。

英国の研究所は、研究者やその他の政府が AI 評価を構築および実行するために使用するオープンソース フレームワークである Inspect をリリースしました。

2024 年に、米国の研究所は OpenAI および Anthropic と、一般公開の前後に主要な新モデルへのアクセスを許可する契約を締結しました。

いくつかの国の研究機関は、さまざまな言語でのエージェントの動作の評価などの方法を比較するために共同テスト演習を実施しました。

リスクとガードレール

  • 能力が複雑になる一方で、実存的なリスクを SF として扱います。

  • 高度な自律性の下での調整による表面製品の安全性を混乱させる。

  • 英語以外や専門家ではない聴衆には、低品質の情報源しか提供されません。

実装ロードマップ

  1. 製品の危害、誤使用、制御不能/調整不良のリスクを分離します。

  2. どのような証拠がタイムラインと重大度についてのあなたの見方を変えるかを尋ねてください。

  3. マーケティング上の主張よりも、一次情報源と具体的な評価を優先します。

  4. 意識だけでなく、キャリア、政策、資金、スキルなど、行動経路を 1 つ特定します。

探検を続けましょう

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the AI Safety Institutes Around the World quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

クイズを開始する

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

よくある質問

世界中の AI 安全性協会とは何ですか?

AI 安全性研究所は、高度な AI モデルをテストおよび研究する政府機関です。彼らはサイバー攻撃、化学的および生物学的誤用、人間による制御の喪失などのリスクに焦点を当てており、多くの場合、公開前にモデルを評価します。これらは政府にフロンティア AI に関する独立した技術的専門知識を与えるため重要ですが、そのほとんどは法的権限ではなく企業からの自発的な協力に依存しています。

2025 年 2 月に英国 AI 安全性協会が改名したのは何ですか?

AI Security Institute という新しい名前は、サイバー、化学的、生物学的悪用、犯罪などの国家安全保障上のリスクに焦点を絞ることを反映しています。

米国 AI 安全性協会は 2025 年にどの組織に再編されますか?

商務省はそれを CAISI に変え、基準、国家安全保障の評価、外国の制度の評価に重点を置いた。

AI 安全性協会の国際ネットワークは最初の会合をどこで開催しましたか?

最初の会合は2024年11月にサンフランシスコで開催された。

英国と米国の研究所は一般に、モデルリリースに関してどのような法的権限を持っていますか?

彼らのアクセスは自主的な合意に基づいており、その調査結果は拘束力のあるものではなく助言的なものです。

検査とは何ですか?

Inspect は評価をデータセット、ソルバー、スコアラーに整理し、サンドボックス エージェント テストをサポートします。