何が起こったのか
カーネギーメロン大学、マサチューセッツ工科大学、コーネル大学の研究チームは8月6日、主要な出来事に関する事実がまだ明らかになっていない間に、AIの短い会話が陰謀論に対抗できるかどうかをテストする、ランダム化された2件のケーススタディを投稿した。
研究者らは、2024年7月のドナルド・トランプ暗殺未遂事件後に陰謀論的な見解を表明した米国成人472人と、2025年9月のチャーリー・カーク暗殺事件後に1,035人を分析した。参加者は、カスタマイズされた誤りを暴く対話、無関係な AI 会話、または同時代の事実の静的なリストにランダムに割り当てられました。
対話グループは、最初の実験では Gemini 1.5 Pro、2 番目の実験では Gemini 2.5 Pro と少なくとも 5 回の交換を完了しました。どちらのモデルも、確認された情報、誤りが暴かれた主張、および未解決の疑問を分離する、厳選された事実ベースを受け取りました。 2 番目のモデルでは、事実情報を確認するためだけに Web を検索することもできます。
各参加者自身が述べた理論に対する信念を 0 から 100 で測定したところ、調整された対話は、最初の実験では無関係なチャット対照と比較して 6.95 ポイント、2 番目の実験では 7.56 ポイントの減少をもたらしました。静的なファクトシートとの差は 5.60 ポイントと 6.56 ポイントでした。この論文では、これらの比較について、標準化された効果がおよそ 0.32 ～ 0.38 であると報告しています。
2 つのケーススタディは、事実の記録がまだ発展途上の瞬間を中心に設計されました。最初の事件は、2024年7月のドナルド・トランプ暗殺未遂事件に続いたものであった。 2回目は2025年9月のチャーリー・カーク暗殺に続くものだった。参加者は陰謀的または不確実な解釈についてスクリーニングされ、その後、自身の主張する理論、無関係な AI チャット、または静的な同時代のファクトシートを取り上げた会話に割り当てられました。 2 番目の研究は事前登録されていましたが、最初の研究は事前登録されていなかったため、再現は有益ですが、2 つの独立した確認試験と同等ではありません。
ソースの詳細: Costello and colleagues' research paper on arXiv ↗
なぜそれが重要なのか
この結果は、会話システムが単なる修正を繰り返すだけではなく、事実、疑問、不確実性を、人が信念に対して与える特定の理由に適応させることができることを示唆しています。
この区別は、検証された証拠が不完全で、一般的なファクトシートでは実際に説得力があると感じる主張に対処できない可能性がある、急速に変化する出来事の際に役立ちます。この論文の戦略分析では、このモデルは信頼できる情報源、未解決の疑問、ほとんど知られていない場合には注意を重視し、2 番目の出来事に大きな事実記録がある場合にはより直接的な証拠を使用することが判明しました。
著者らはまた、その後の波及の限定的な証拠も報告している。最初の実験から 2 か月後、対話に割り当てられた参加者は、その後の出来事についての 2 つの陰謀的な解釈を支持する可能性が、プールされた対照よりも低かった。 2回目の追跡調査では、直接治療を割り当ててもその後の銃撃に関する信念は大幅に減少しなかったが、事前に登録された別の持続性分析とより広範な陰謀の尺度は、キャリーオーバー効果が小さいことを示唆した。
この設計は、説得が常に望ましいことを証明することなく、なぜインタラクションが静的補正よりも優れたパフォーマンスを発揮するのかを示しています。最初の研究では Gemini 1.5 Pro が、2 番目の研究では Gemini 2.5 Pro が、確認された情報、誤りが暴かれた主張、および未解決の疑問を分離する研究者によって厳選された事実ベースを受け取りました。モデルは参加者の具体的な推論について質問し、直接答えるか、信頼できる証拠を引用するか、不確実性を維持するかを選択できます。この適応性は教育に役立ちますが、どの主張に異議を唱え、どのソースを前面に出すかについてシステムに裁量権を与えます。
この研究は、説得力のあるボットを公共の会話に自動的に導入することを正当化するものではありません。信念を変えるように指示されたシステムには異常な力があり、著者らは、同様の手法によって虚偽の主張への信念が高まる可能性もあると指摘している。実際のサービスには、透明性のある作成者、信頼できるイベント グラウンディング、政治的ターゲットに対する保護策、正確性と意図しない影響についての独立したテストが必要です。
インタラクティブなメカニズム: 実際にどのように機能するか
この開発の背後にある基盤となるテクノロジーをインタラクティブに探索します。
Impossibility results in algorithmic fairness (e.g. Kleinberg et al., Chouldechova) show what?
次に見るべきもの
査読、米国の 2 つの政治的危機を乗り越えた再現、人々が研究に採用されずにそのようなツールを使用することを選択するかどうかを示す現場の証拠に注目してください。
これは 2 つのケーススタディを中心に構築された新しいプレプリントです。最初の実験は事前登録されておらず、2 番目の実験は事前登録されておらず、どちらも現実世界の共有行動、投票、または長期的な信頼ではなく、オンラインでの短い対話の直後に自己報告された信念を測定しました。
分析されたサンプルには、自由回答が GPT-4o によって陰謀的または不確実であると分類された参加者のみが含まれていましたが、著者らは別の分類ルールに基づいて同様のパターンを報告しています。どちらの研究も CloudResearch を通じて米国の成人を募集しているため、その結果が他の国、言語、出来事、または人口に移される可能性はありません。
モデルは単独の知識に依存していませんでした。研究者は注意深く組み立てられた事実ベースと明確な説得指示を提供しました。今後の研究では、締め切りのプレッシャーの中で誰がこれらの事実を維持するのか、誤りはどのように修正されるのか、対立する見解が一貫して扱われるのか、そしてシステムが説得を試みるのではなく不確実性をいつ保持すべきなのかをテストする必要がある。
また、述べられた信念を変えることと、人の理解を改善することの間には、測定上の違いがあります。結果は短いオンライン会話の後に収集された自己申告の評価であり、共有行動、情報源の確認、投票、または実際の危機の間に行われた決定は観察されませんでした。論文の追跡調査では持続性に関する初期の証拠が提供されているが、結果がまちまちであるということは、後の研究では長期的な結果を事前に登録し、減少を追跡し、単にモデルの結論を繰り返すのではなく参加者自身が証拠を説明できるかどうかをテストする必要があることを意味している。
複製では、母集団だけでなく事実の記録のソースも変更する必要があります。これらの実験では、研究者自身の事実ベースが提供され、クラウドリサーチを通じて米国の成人が採用されたため、設定は異例に制御されているものの、多言語イベント、接続性の低い設定、公式情報が遅れたり論争が起きたりする危機については未解決の疑問が残されている。責任ある実地試験では、モデルの作者が明らかになり、参加者が介入を拒否し、どの証拠が示されたかを記録し、独立した裁定者を使って対話が新たな誤解を導入することなく誤解を正したかどうかをチェックできるようになるだろう。信念スコアとともに、信頼、感情的反応、主張を共有する意欲を測定する必要があります。