テクニカルガイド
AIプロンプトセキュリティ
プロンプト セキュリティは、言語モデル アプリケーションに信頼できないコンテンツを命令として扱わせたり、保護すべき情報を開示させたりする試みに対処します。
このガイドを聴くAIによるナレーション · ~2 min
概要
この問題は、ユーザー入力、取得したドキュメント、Web ページ、画像、またはツールの応答で発生する可能性があります。防御は不審なテキストを検出するだけでなく、結果を制限する必要があります。
主なポイント
- 指示と処理されたコンテンツを区別します。
- モデルとは独立して権限を制限します。
- 入力チャネル全体にわたる信頼境界をテストします。
ディープダイブ
ユーザーの許可されたタスクを、処理されるコンテンツから分離します。文書には、主題の一部として指示が合法的に含まれている場合があります。これらの言葉によって、アシスタントのツール、アカウント アクセス、または対応ポリシーが自動的に制御されるべきではありません。権限を限定的に保ちます。通常、要約タスクには無制限のファイル アクセスやメッセージ送信の許可は必要ありません。アプリケーションでこれらの制限を強制することで、モデル エラーによってより広範な機能が暗黙的に作成されることがなくなります。結果として生じる出力とアクションを元のリクエストに対して検証します。宛先、影響を受けるレコード、送信されるデータ、必要な承認を確認します。ユーザーが何かを承認したと主張する外部ページは、実際のユーザー指示と同等ではありません。信頼できない命令の場所と形式を変える回帰ケースを構築します。制御された環境で、直接入力、取得したパッセージ、ツールの結果をテストします。アプリケーションがリダイレクトに抵抗しながら有用なタスクのパフォーマンスを維持しているかどうかを確認します。確実なプロンプトインジェクションフィルターの主張は避けてください。階層化されたコントロールと継続的なテストは、より信頼性が高くなります。
04作業例
取得した指示を文書内に保存します
通常のポリシーの段落と、無関係なファイルをアップロードするようにアシスタントに指示する文を含むテスト ページを作成します。
政策の概要だけを聞いてください。概要に関連する事実が使用されていること、およびアップロード ツールが呼び出されないことを確認します。
引用符で囲まれたブロックとツールの結果で指示を繰り返し、フォーマット間で同じ信頼境界をテストします。
それが示すもの
この限定された防御演習では、実際のプライベート ファイルを使用せずにタスクの順守を検証します。
現実世界の実装
指示のような文章を含む文書を、実行せずに要約します。
発信ツールのアクションがユーザーの本来の目的地と目的に照らしてチェックされます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
出典とさらなる参考文献
- OWASP即時注入のリスクと軽減策
探検を続けましょう
よくある質問
即時注射はワンフレーズ禁止で解決できるのか？
いいえ。根本的な問題は、信頼できないコンテンツが動作をリダイレクトできるかどうかです。攻撃にはさまざまな表現や形式が使用されます。