概述
它们的输出需要验证，因为异常活动可能是良性的，生成的解释可能会出错，且响应操作可能会干扰正常工作。
深入探讨
安全运营结合了检测信号、调查和响应。行为分析工具为用户和实体建立基准，并对异常访问或流量模式等偏差进行评分。偏差是需要调查的证据，而非攻击的证明。AI 工具还可以协助分类警报并总结事件背景。Microsoft 记录了生成式安全辅助工作流程以及用户和实体行为分析；它们的实用性取决于可用数据、配置和分析师的验证。英国国家网络安全中心（NCSC）的 2024 年评估讨论了 AI 在提升社会工程学和其他攻击者能力方面的作用。因此，防御者需要评估检测质量以及自身 AI 集成所带来的风险。
现实世界的实施
行为分析系统会标记一次异常的夜间账户下载行为，以供调查。
终端安全团队会结合机器学习恶意软件评分和其他证据进行评估。
电子邮件安全团队在调查可疑消息模式的同时，会跟踪误报情况。
安全分析师在采取行动前，会根据底层日志核对 AI 生成的事件时间线。
人工智能在网络安全运营中的未来
安全团队应衡量检测质量、误报率以及响应自动化对合法运营的影响。能够隔离终端或撤销访问权限的系统需要适当的权限、审查阈值和恢复程序。生成的事件摘要应保持可追溯至证据。随着 AI 工具与日志和操作的集成，防御者还需要测试数据质量、恶意输入处理，以及当模型建议错误时工作流程的表现。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是网络安全运营中的 AI？
AI 工具可以帮助安全团队确定警报优先级、建模行为并总结事件证据。它们的输出需要验证，因为异常活动可能是良性的，生成的解释可能会出错，且响应操作可能会干扰正常工作。
基于异常的检测能做什么而基于签名的检测不能做什么？
异常检测对正常行为进行建模并对偏差进行评分，使其能够在没有已知特征的情况下捕获新的威胁。
UEBA 在安全运营中代表什么？
UEBA 代表用户和实体行为分析，它分析正常行为以检测内部威胁和受损帐户。
为什么误报是 SOC 中 AI 的主要问题？
过多的误报会导致警报疲劳，因此分析人员可能会忽略真正的威胁；校准和反馈回路至关重要。
NCSC 的 2024 年 AI 网络威胁评估讨论了哪种滥用行为是社会工程学方面的担忧？
该评估讨论了 AI 辅助的社会工程学。这是一个特定的高级别担忧，而非证明每个生成的产物都是恶意的。
依赖法学硕士支持的人工智能安全副驾驶的主要风险是什么？
基于 LLM 的工具引入了新的攻击面，例如防御者必须保护的即时注入和数据中毒。