Вікторина, пов’язана з посібником · Середній Рівень

Вікторина зі створення тестів ШІ

Оцініть обмеження тестового оракула, тести визначення характеристик, генерацію символьних і LLM-тестів, фаззинг і вказівки щодо покриття. Перевірте практичні обмеження.

Пов'язані напрямні шляхиГенерація тестів ШІ
Питання 1 з 8

Що таке «проблема оракула» у створенні тестів ШІ?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що таке «проблема оракула» у створенні тестів ШІ?
    • Знання правильного очікуваного результату для даного входу
    • Створення достатньої кількості випадкових вхідних даних для запуску програми
    • Підключення програми тестування до бази даних
    • Вибір мови програмування для тестування
  2. Що фіксує «тест на характеристику»?
    • Найшвидший час виконання
    • Поточна поведінка коду як базова лінія регресії
    • Оригінальний авторський стиль кодування
    • Формальний математичний доказ правильності
  3. What programming language did the TestPilot study implement and evaluate its LLM test-generation approach for?
    • Іржа
    • Fortran
    • JavaScript
    • SQL only
  4. Ключовий ризик прийняття тестів, згенерованих штучним інтелектом, без перегляду полягає в тому, що вони можуть:
    • Бігайте занадто повільно, щоб бути корисним
    • Видалити вихідний код автоматично
    • Робота тільки у вихідні
    • Стверджуйте та заморожуйте наявні помилки так, ніби вони правильні
  5. Як асистенти тестування на основі LLM, такі як Copilot, зазвичай створюють тест?
    • Прогнозуючи тестовий код на основі функції та навколишнього контексту
    • Формально підтвердивши правильність коду
    • За допомогою вимірювання температури процесора
    • Записуючи екран розробника
  6. Фаззинг, керований покриттям, керує випадковими введеннями за допомогою:
    • Зіркові оцінки користувачів
    • Інструмент коду, який визначає, які гілки були вражені
    • Фаза місяця
    • Тільки ім'я файлу
  7. What did the TestPilot evaluation report as its median statement and branch coverage?
    • 100% statement and branch coverage on every package
    • 0% statement coverage and 52.8% branch coverage
    • 70.2% statement coverage and 52.8% branch coverage across its studied packages
    • The paper did not measure code coverage
  8. What does mutation testing assess about a test suite?
    • Whether every test uses the same name
    • Whether a characterization test preserves all current behavior
    • Whether the fuzzer can reach a branch without running tests
    • Whether tests detect small, deliberate changes made to the program