AIセキュリティ

プライベート入力、トレーニング データ、モデル アーティファクト、資格情報、接続されているアカウント、外部アクションなど、保護が必要なものを特定します。各入力に誰が影響を与えることができるのか、攻撃者が失敗から何を得ることができるのかを記録します。公開チャットボットと書き込みアクセス権を持つ内部エージェントには、異なる脅威モデルがあります。脅威はさまざまな段階に影響を与える可能性があります。毒されたトレーニング教材は、学習した行動を変える可能性があります。敵対的な入力により予測が操作される可能性があります。信頼できない取得コンテンツは、ツールを使用するアプリケーションをリダイレクトする可能性があります。モデル出力は、適切な処理を行わずにデータベース クエリ、Web ページ、またはコマンドに挿入された場合にも危険になる可能性があります。ソフトウェア境界で制御を適用します。コード内で認可を強制し、可能な限りモデルに表示されるコンテキストから秘密を守り、ツールの範囲を制限し、使用前に出力を検証します。モデルに安全に動作するように求めるプロンプトは、アカウントの分離や権限のチェックに代わるものではありません。許可された環境で代表的な障害パスをテストし、インシデント プロセスを維持します。不必要な機密コンテンツを収集せずに、調査に必要な十分な情報をログに記録します。モデル、取得ソース、ツール、依存関係を変更した後にコントロールを評価します。残留リスクを正直に説明します。単一のフィルターで完全な保護を確立することはできません。