แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการสร้างการทดสอบ AI

ประเมินขีดจำกัดของ test-oracle การทดสอบการกำหนดคุณลักษณะ การสร้างการทดสอบสัญลักษณ์และ LLM การคลุมเครือ และคำแนะนำในการครอบคลุม ตรวจสอบขีดจำกัดในทางปฏิบัติ

เส้นทางแนะนำที่เกี่ยวข้องการสร้างการทดสอบ AI
คำถาม 1 ของ 8

'ปัญหาออราเคิล' ในการสร้างการทดสอบ AI คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. 'ปัญหาออราเคิล' ในการสร้างการทดสอบ AI คืออะไร
    • ทราบผลลัพธ์ที่คาดหวังที่ถูกต้องสำหรับอินพุตที่กำหนด
    • การสร้างอินพุตแบบสุ่มเพียงพอที่จะรันโปรแกรม
    • การเชื่อมต่อนักวิ่งทดสอบกับฐานข้อมูล
    • การเลือกภาษาโปรแกรมที่จะทดสอบ
  2. 'การทดสอบลักษณะเฉพาะ' ล็อคอะไรไว้?
    • รันไทม์ที่เร็วที่สุดที่เป็นไปได้
    • ลักษณะการทำงานปัจจุบันของโค้ดเป็นพื้นฐานการถดถอย
    • รูปแบบการเขียนโค้ดของผู้เขียนต้นฉบับ
    • การพิสูจน์ความถูกต้องทางคณิตศาสตร์อย่างเป็นทางการ
  3. What programming language did the TestPilot study implement and evaluate its LLM test-generation approach for?
    • สนิม
    • Fortran
    • JavaScript
    • SQL only
  4. ความเสี่ยงหลักในการยอมรับการทดสอบที่สร้างโดย AI โดยไม่ได้รับการตรวจสอบคือพวกเขาอาจ:
    • วิ่งช้าเกินไปที่จะเป็นประโยชน์
    • ลบซอร์สโค้ดโดยอัตโนมัติ
    • ทำงานเฉพาะวันหยุดสุดสัปดาห์เท่านั้น
    • ยืนยันและระงับข้อบกพร่องที่มีอยู่ราวกับว่าถูกต้อง
  5. โดยทั่วไปแล้วผู้ช่วยทดสอบที่ใช้ LLM เช่น Copilot จะทำการทดสอบอย่างไร
    • โดยการทำนายโค้ดทดสอบจากฟังก์ชันและบริบทโดยรอบ
    • โดยการพิสูจน์อย่างเป็นทางการว่ารหัสถูกต้อง
    • โดยการวัดอุณหภูมิซีพียู
    • โดยการบันทึกหน้าจอของผู้พัฒนา
  6. การคลุมเครือที่แนะนำโดยครอบคลุมจะควบคุมอินพุตแบบสุ่มโดยใช้:
    • การให้คะแนนดาวของผู้ใช้
    • เครื่องมือวัดโค้ดที่ใช้วัดว่าสาขาใดถูกโจมตี
    • เฟสของดวงจันทร์
    • เฉพาะชื่อไฟล์เท่านั้น
  7. What did the TestPilot evaluation report as its median statement and branch coverage?
    • 100% statement and branch coverage on every package
    • 0% statement coverage and 52.8% branch coverage
    • 70.2% statement coverage and 52.8% branch coverage across its studied packages
    • The paper did not measure code coverage
  8. What does mutation testing assess about a test suite?
    • Whether every test uses the same name
    • Whether a characterization test preserves all current behavior
    • Whether the fuzzer can reach a branch without running tests
    • Whether tests detect small, deliberate changes made to the program