AIの幻覚
AI の幻覚とは、モデルが、偽の引用、でっち上げられた統計、間違った事実など、虚偽のことをあたかも真実であるかのように流暢かつ自信を持って述べることです。
概要
It is the single biggest trust problem with today's language models.
ディープダイブ
幻覚は通常の意味での虫ではありません。それらはモデルの仕組みから外れてしまいます。言語モデルは、真実を検証するためではなく、統計的に妥当なテキストを生成するためにトレーニングされます。学習したことのない事実や、訓練で明確な答えがない質問など、ギャップに遭遇しても、「わかりません」とは言いません。代わりに、最も可能性が高いと思われる継続を生成しますが、これは確信を持って捏造される可能性があります。出力はスムーズに読み取られるため、エラーは見逃しやすいです。一般的な形式には、でっち上げられた書籍のタイトルや訴訟事例、偽の URL、帰属が間違っている引用、もっともらしいが間違った数字などが含まれます。これらは、医療、法律、金融など、一か八かの場面で特に危険であり、流暢な間違った答えは明らかな答えよりもコストがかかる可能性があります。重要なのは、正しいドキュメントが提供されたとしても、モデルがドキュメントに矛盾したり無視したりする可能性があることです。
技術的な洞察
根本的な原因はトレーニングの目的です。組み込みの真実性チェックや「不確かです」の信頼できる内部信号を使用せずに、もっともらしさを最大化するために次のトークンを予測します。検索拡張生成 (RAG) は、実際のソース ドキュメントをプロンプトに挿入することで役立ちますが、治療法ではありません。研究によると、検索にノイズが多い場合、またはモデルの内部の「知識」が取得されたテキストと競合する場合、モデルは依然として幻覚を起こします。その他の緩和策としては、引用文に回答を根拠付けること、取得した証拠の再ランク付け、忠実で情報源に裏付けられた出力に報いる好みの微調整などが含まれます。
戦略的影響
速度とスケール
言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
アクセスと到達範囲
言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
より明確な判決
自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
AI 幻覚の未来
幻覚は軽減されるものであり、排除されるものではありません。幻覚はこれらのモデルの確率論的な核心に結びついています。より優れたキャリブレーション (不確実性を示すモデル)、検証可能な引用によるより確実な根拠、自動自己チェックと事実検証のパス、モデルが推測ではなく低下する場合の「棄権」行動が期待されます。ベンチマークと規制により、ベンダーは幻覚率を報告するよう求められます。今のところ、特に自信のある間違った答えのコストが高い場合、実際的な答えは人間によるレビューと検索と検証です。
現実世界の実装
現実的な名前と整理番号を付けて、存在しない裁判例を引用する法務助手
出典を尋ねられたときに、もっともらしいが偽の学術論文と著者をでっち上げるチャットボット
実際には存在しないライブラリ関数または API パラメータを呼び出すコーディング アシスタント
与えられた情報源文書と矛盾する自信に満ちた用量を記載した医療要約書
リスクとガードレール
幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
実装ロードマップ
展開する前に、出力形式、トーン、品質基準を定義します。
正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
一か八かの成果物については人間によるレビュー チェックポイントを維持します。
失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI Hallucinations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next in AI Foundations
AI の神話
よくある質問
What is AI Hallucinations?
AI の幻覚とは、モデルが、偽の引用、でっち上げられた統計、間違った事実など、虚偽のことをあたかも真実であるかのように流暢かつ自信を持って述べることです。これは、今日の言語モデルにおける唯一かつ最大の信頼の問題です。
言語モデルが幻覚を起こす主な理由は何ですか?
モデルは、統計的に考えられる次のトークンを最適化します。真実性チェックが組み込まれていないため、偽の可能性があるもっともらしい出力でギャップを埋めます。
幻覚が特に危険なのはなぜですか?
誤った出力は流暢で自信に満ちているため、正解と調和し、ユーザーが信頼しやすくなります。
検索拡張生成 (RAG) は幻覚を完全に排除しますか?
RAG は、実際の情報源に答えを根拠付けることで幻覚を軽減しますが、モデルの検索が不完全であったり、内部知識と矛盾したりする場合には、依然として幻覚が現れる可能性があります。
本物の幻覚の例はどれですか?
存在しないが現実的に見える引用をでっち上げるのは古典的な幻覚であり、自信があり、具体的で、虚偽です。
幻覚を軽減する方法として認められているのはどのアプローチですか?
実際の文書に基づいて、情報源を引用し、証拠を再ランク付けし、忠実度を調整することはすべて、捏造を減らすのに役立ちます。