Викторина, связанная с руководством · Средний Уровень

Викторина по созданию тестов ИИ

Оцените пределы тестовых оракулов, тесты определения характеристик, генерацию символических тестов и тестов LLM, фаззинг и рекомендации по покрытию. Проверьте практические пределы.

Связанные направляющие путиГенерация тестов ИИ
Вопрос 1 из 8

В чем заключается «проблема оракула» при создании тестов ИИ?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. В чем заключается «проблема оракула» при создании тестов ИИ?
    • Знание правильного ожидаемого результата для данного ввода
    • Генерация достаточного количества случайных входных данных для запуска программы
    • Подключение средства запуска тестов к базе данных
    • Выбор языка программирования для тестирования
  2. Что фиксирует «тест на характеристики»?
    • Максимально быстрое время выполнения
    • Текущее поведение кода как базовый уровень регрессии
    • Оригинальный авторский стиль кодирования
    • Формальное математическое доказательство правильности
  3. What programming language did the TestPilot study implement and evaluate its LLM test-generation approach for?
    • Ржавчина
    • Fortran
    • JavaScript
    • SQL only
  4. Ключевой риск принятия тестов, созданных ИИ, без проверки заключается в том, что они могут:
    • Бегите слишком медленно, чтобы быть полезным
    • Удалить исходный код автоматически
    • Работаем только по выходным
    • Подтверждайте и замораживайте существующие ошибки, как если бы они были правильными.
  5. Как помощники по тестированию на основе LLM, такие как Copilot, обычно создают тест?
    • Путем прогнозирования тестового кода на основе функции и окружающего контекста
    • Формально доказав правильность кода
    • Путем измерения температуры процессора
    • Путем записи экрана разработчика
  6. Фаззинг на основе покрытия управляет случайными входными данными, используя:
    • Звездные рейтинги пользователей
    • Инструментарий кода, который определяет, какие ветки были поражены.
    • Фаза луны
    • Только имя файла
  7. What did the TestPilot evaluation report as its median statement and branch coverage?
    • 100% statement and branch coverage on every package
    • 0% statement coverage and 52.8% branch coverage
    • 70.2% statement coverage and 52.8% branch coverage across its studied packages
    • The paper did not measure code coverage
  8. What does mutation testing assess about a test suite?
    • Whether every test uses the same name
    • Whether a characterization test preserves all current behavior
    • Whether the fuzzer can reach a branch without running tests
    • Whether tests detect small, deliberate changes made to the program