Тест, свързан с ръководство · Среден Ниво
Тест за генериране на AI тестове
Оценете границите на тест-оракул, тестове за характеризиране, генериране на символни и LLM тестове, размиване и насоки за покритие. Проверете практическите ограничения.
Въпрос 1 на 8
Какъв е „проблемът с оракула“ при генерирането на AI тестове?
Визуализирайте всеки въпрос8 въпроси
Отговорите и обясненията се появяват, докато отговаряте на теста.
- Какъв е „проблемът с оракула“ при генерирането на AI тестове?
- Познаване на правилния очакван изход за даден вход
- Генериране на достатъчно произволни входове за стартиране на програмата
- Свързване на тестовия инструмент към база данни
- Избор на кой език за програмиране да се тества
- Какво заключва „тестът за характеризиране“?
- Най-бързото възможно време на изпълнение
- Текущото поведение на кода като базова линия на регресия
- Оригиналният авторски стил на кодиране
- Официално математическо доказателство за коректност
- What programming language did the TestPilot study implement and evaluate its LLM test-generation approach for?
- Ръжда
- Fortran
- JavaScript
- SQL only
- Ключов риск от приемането на генерирани от AI тестове без преглед е, че те могат:
- Бягайте твърде бавно, за да бъдете полезни
- Изтрийте изходния код автоматично
- Работи само през почивните дни
- Утвърждавайте и замразявайте съществуващи грешки, сякаш са правилни
- Как базираните на LLM тест асистенти като Copilot обикновено произвеждат тест?
- Чрез предвиждане на тестов код от функцията и заобикалящия контекст
- Чрез официално доказване на правилността на кода
- Чрез измерване на температурата на процесора
- Чрез запис на екрана на разработчика
- Ръководеният от покритие фъзинг управлява произволни входове, използвайки:
- Потребителски оценки със звезди
- Кодови инструменти, които измерват кои клони са били ударени
- Фазата на луната
- Само името на файла
- What did the TestPilot evaluation report as its median statement and branch coverage?
- 100% statement and branch coverage on every package
- 0% statement coverage and 52.8% branch coverage
- 70.2% statement coverage and 52.8% branch coverage across its studied packages
- The paper did not measure code coverage
- What does mutation testing assess about a test suite?
- Whether every test uses the same name
- Whether a characterization test preserves all current behavior
- Whether the fuzzer can reach a branch without running tests
- Whether tests detect small, deliberate changes made to the program