แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการสร้างการทดสอบ AI
ประเมินขีดจำกัดของ test-oracle การทดสอบการกำหนดคุณลักษณะ การสร้างการทดสอบสัญลักษณ์และ LLM การคลุมเครือ และคำแนะนำในการครอบคลุม ตรวจสอบขีดจำกัดในทางปฏิบัติ
คำถาม 1 ของ 8
'ปัญหาออราเคิล' ในการสร้างการทดสอบ AI คืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- 'ปัญหาออราเคิล' ในการสร้างการทดสอบ AI คืออะไร
- ทราบผลลัพธ์ที่คาดหวังที่ถูกต้องสำหรับอินพุตที่กำหนด
- การสร้างอินพุตแบบสุ่มเพียงพอที่จะรันโปรแกรม
- การเชื่อมต่อนักวิ่งทดสอบกับฐานข้อมูล
- การเลือกภาษาโปรแกรมที่จะทดสอบ
- 'การทดสอบลักษณะเฉพาะ' ล็อคอะไรไว้?
- รันไทม์ที่เร็วที่สุดที่เป็นไปได้
- ลักษณะการทำงานปัจจุบันของโค้ดเป็นพื้นฐานการถดถอย
- รูปแบบการเขียนโค้ดของผู้เขียนต้นฉบับ
- การพิสูจน์ความถูกต้องทางคณิตศาสตร์อย่างเป็นทางการ
- What programming language did the TestPilot study implement and evaluate its LLM test-generation approach for?
- สนิม
- Fortran
- JavaScript
- SQL only
- ความเสี่ยงหลักในการยอมรับการทดสอบที่สร้างโดย AI โดยไม่ได้รับการตรวจสอบคือพวกเขาอาจ:
- วิ่งช้าเกินไปที่จะเป็นประโยชน์
- ลบซอร์สโค้ดโดยอัตโนมัติ
- ทำงานเฉพาะวันหยุดสุดสัปดาห์เท่านั้น
- ยืนยันและระงับข้อบกพร่องที่มีอยู่ราวกับว่าถูกต้อง
- โดยทั่วไปแล้วผู้ช่วยทดสอบที่ใช้ LLM เช่น Copilot จะทำการทดสอบอย่างไร
- โดยการทำนายโค้ดทดสอบจากฟังก์ชันและบริบทโดยรอบ
- โดยการพิสูจน์อย่างเป็นทางการว่ารหัสถูกต้อง
- โดยการวัดอุณหภูมิซีพียู
- โดยการบันทึกหน้าจอของผู้พัฒนา
- การคลุมเครือที่แนะนำโดยครอบคลุมจะควบคุมอินพุตแบบสุ่มโดยใช้:
- การให้คะแนนดาวของผู้ใช้
- เครื่องมือวัดโค้ดที่ใช้วัดว่าสาขาใดถูกโจมตี
- เฟสของดวงจันทร์
- เฉพาะชื่อไฟล์เท่านั้น
- What did the TestPilot evaluation report as its median statement and branch coverage?
- 100% statement and branch coverage on every package
- 0% statement coverage and 52.8% branch coverage
- 70.2% statement coverage and 52.8% branch coverage across its studied packages
- The paper did not measure code coverage
- What does mutation testing assess about a test suite?
- Whether every test uses the same name
- Whether a characterization test preserves all current behavior
- Whether the fuzzer can reach a branch without running tests
- Whether tests detect small, deliberate changes made to the program