何が起こったのか
Help Net Security の報告によると、AWS は、AI モデルが本物のソフトウェアの脆弱性を、誤解を招く脆弱性パターンを含む安全なコードから区別できるかどうかをテストするデセプション ベンチマークを公開しました。このベンチマークには、16 のプログラミング言語と 70 以上の CWE カテゴリにわたる 14,822 のサンプルが含まれています。 9,695 個がスコアリングされ、5,127 個がスコアリングされていないサンプルとして混合されます。
Help Net Security は、AWS が誤検知を中心に設計されたベンチマークを使用して 5 つのプロバイダーの 12 の汎用モデルを評価したと報告しています。ベンチマークの安全な例には、悪用を防ぐ保護機能とともに実際の脆弱性パターンが含まれています。 Kubernetes ネットワーク ポリシーなど、一部の課題ではデプロイ条件が異なるため、モデルではコードとその環境の両方を考慮する必要があります。
レポートによると、AWS は、分類が簡単すぎるサンプルを除いて、フロンティア モデルに対してサンプルを生成および改良しました。 AWS によると、このプロセスでは数百億のトークンが消費されました。同社はサンプルを公表していますが、ラベルは差し控えています。ユーザーは、検証されたスコアリングのために AWS に予測を送信します。情報源は、スコアリングへのアクセスに料金やその他の資格要件があるかどうかについては述べていません。
Help Net Security は、独立したレビュー担当者が互いの決定や元の推論を見ることなくラベルをチェックしていると報告しています。係争中のサンプルはさらに検討され、未解決のケースはスコアなしのセットに移動されます。 AWS は、スコアリングされたサンプルのうち、レビュー後に異議が残っているのは 3% 未満であり、人間によるレビューで生き残るのは 1% 未満であることが目標であり、ランダムに選択された 100 個のスコアリングされたサンプルのレビューではラベル付けエラーはなかったと報告しています。これらの主張はここでは独立して確認されていません。
なぜそれが重要なのか
この結果は、疑わしいコードを検出する際の優れたパフォーマンスが、必ずしも信頼できる脆弱性トリアージにつながるわけではないことを示唆しています。誤検知率が高いと、セキュリティ チームに負担がかかり、アラートの信頼性が弱まる可能性があります。また、証明要件が厳格になると、モデルが実際の脆弱性を見逃す可能性があります。この調査結果は、AI 支援によるコード レビューやセキュリティ運用を検討している組織に関連していますが、完全な商用セキュリティ製品を評価するものではありません。
このベンチマークは、AI 支援セキュリティの実質的な弱点に対処しています。モデルは、悪用を防ぐ制御を理解せずに、危険に見えるパターンを認識する可能性があります。 Help Net Security の報告によると、直接プロンプトによる誤検知率は 41% ～ 99% であり、精度は 52% ～ 71% でした。
レポートによると、脆弱性が実際に悪用される可能性があることをモデルに証明するよう依頼すると、偽陽性が 17 ～ 74 パーセント ポイント減少しましたが、偽陰性率は 7% ～ 44% に増加しました。 AWS が述べた最小生産基準は、両方の測定値で 10% 未満であり、テストされた構成はいずれも両方のしきい値を満たしていませんでした。
これらの結果は、完全なセキュリティ製品のランキングとして解釈されるべきではありません。 AWS は、ツール、繰り返しの検証、またはエージェント ワークフローを使用する専用システムではなく、汎用モデルでシングル ターン プロンプトをテストしました。したがって、この情報源は、AI セキュリティ製品全体が失敗するという結論ではなく、モデルレベルの脆弱性の判断についての注意を支持しています。
インタラクティブなメカニズム: 実際にどのように機能するか
この開発の背後にある基盤となるテクノロジーをインタラクティブに探索します。
Which component of an AI application is the machine-learning model itself?
次に見るべきもの
リリースされたサンプルを使用した独立した評価、ツールを使用したセキュリティ システムまたは複数ステップのセキュリティ システムからの結果、実際の運用環境でのパフォーマンスに関する証拠に注目してください。この情報源には、価格設定、サービス レベルのアクセス、AWS のスコアリング プロセスが制限なく利用できるかどうかについては記載されていません。また、テストされたモデルが非公開のエンタープライズ コードに対して同様に動作するかどうかも確立されていません。
独立した研究者は、AWS が報告したデータ生成コストを再作成することなく、公開サンプルと評価プロセスを使用できますが、ラベルの差し控えと AWS で検証されたスコアリングは、ベンチマーク固有の最適化を制限することを目的としています。外部グループによる複製は、報告された結果とラベルの品質をテストするのに役立ちます。
今後の評価では、シングルパス モデルと、リポジトリを検査し、コードを安全に実行し、展開構成を検討し、アラートを発行する前に証拠を要求するシステムとを比較する必要があります。これらのテストは、実際のセキュリティ ツールがモデルのみの結果をどの程度改善するかをより適切に示すことができます。
このソースには重要な不明点が残されています。テストされた 12 個のモデル構成が特定されておらず、提供されたテキストでモデルごとの結果が報告されておらず、価格設定や検証済みスコアリングのアクセス条件が文書化されておらず、パフォーマンスが独自のコードベースや実際のセキュリティ運用にどのように移行するかについても示されていません。