深入探讨
测试生成技术有不同的目标。测试预言机提供预期结果；特征测试记录当前行为，如果行为错误，可以保留错误。 TestPilot 论文评估了跨 25 个 npm 包的基于 LLM 的 JavaScript 测试生成器，并报告中值语句覆盖率为 70.2%，分支覆盖率为 52.8%；这些是特定于研究的数字。覆盖率引导的模糊测试使用执行反馈（例如新到达的分支）来指导输入。突变测试通过小的、有意的程序更改来挑战测试套件，并检查断言是否检测到它们。在将断言视为规范之前检查生成的测试。
现实世界的实施
生成函数的边界情况并检查预期结果。
使用特征测试来捕获重构之前的行为，然后检查其是否符合预期。
运行覆盖引导的模糊测试来探索新的执行路径。
检查生成的测试以发现检测真实回归的断言。
AI 测试生成的未来
人工智能生成的测试可以扩大候选人的覆盖范围，但人工或正式审查应验证预期行为并避免测试过度拟合实施。
付诸实践
为什么这很重要
- 构建选择. 应用级设计决定了人工智能是否能改善实际结果。
- 团队与工作流程. 良好的工作流程集成可以创造用户值得信赖的生产力收益。
- 风险与安全. 范围明确的用例可以减少变更疲劳和实施风险。
留意
- 将损坏的流程自动化可能会加剧现有问题。
- 团队可能会过度自动化并消除所需的人工判断。
- 如果不持续评估输出，质量可能会出现偏差。
后续步骤
- 绘制当前工作流程并确定摩擦最大的步骤。
- 在完全自动化之前定义人工检查点。
- 对用户进行提示、升级路径和质量标准方面的培训。
- 跟踪任务级结果以确认持续价值。
不断探索
常见问题
什么是人工智能测试生成？
人工智能测试生成工具提出测试用例或测试代码，但测试仍然需要一个值得信赖的预言机：一种确定正确结果的方法。
AI 测试生成中的“预言机问题”是什么？
人工智能可以轻松生成输入，但确定正确的预期结果（预言机）通常需要人类对预期行为的判断。
“特征测试”锁定什么？
特征化测试捕获代码当前的行为方式，创建一个安全网来检测意外的更改，即使当前行为包含错误。
TestPilot 研究使用什么编程语言实施和评估其 LLM 测试生成方法？
TestPilot 论文针对 JavaScript 实现了其方法，并在 npm 包上对其进行了评估。这是该研究的范围，而不是声称 LLM 测试生成仅适用于 JavaScript。
像 Copilot 这样的 LLM 测试助理通常如何进行测试？
LLM 工具根据代码上下文、签名以及提供的任何提示或注释逐个生成测试代码令牌。
TestPilot 评估报告的中值陈述和分支覆盖范围是多少？
作者报告称，在 25 个 npm 包的评估集中，语句覆盖率中位数为 70.2%，分支覆盖率中位数为 52.8%。这些是特定研究的结果，而不是一般保证。