Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor het genereren van AI-tests
Beoordeel test-orakellimieten, karakteriseringstests, het genereren van symbolische en LLM-tests, fuzzing en dekkingsrichtlijnen. Controleer praktische grenzen.
Vraag 1 van 8
Wat is het ‘orakelprobleem’ bij het genereren van AI-tests?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het ‘orakelprobleem’ bij het genereren van AI-tests?
- Het kennen van de juiste verwachte output voor een gegeven input
- Genoeg willekeurige invoer genereren om het programma uit te voeren
- De testrunner verbinden met een database
- Kiezen in welke programmeertaal u wilt testen
- Wat houdt een ‘karakterisatietest’ in?
- De snelst mogelijke looptijd
- Het huidige gedrag van de code als regressiebasislijn
- De codeerstijl van de oorspronkelijke auteur
- Een formeel wiskundig bewijs van juistheid
- What programming language did the TestPilot study implement and evaluate its LLM test-generation approach for?
- Roest
- Fortran
- JavaScript
- SQL only
- Een belangrijk risico bij het accepteren van door AI gegenereerde tests zonder beoordeling is dat ze:
- Ren te langzaam om nuttig te zijn
- Verwijder de broncode automatisch
- Werk alleen in het weekend
- Bevestig en bevries bestaande bugs alsof ze correct zijn
- Hoe produceren LLM-gebaseerde testassistenten zoals Copilot doorgaans een test?
- Door testcode te voorspellen op basis van de functie en de omringende context
- Door formeel te bewijzen dat de code correct is
- Door de CPU-temperatuur te meten
- Door het scherm van de ontwikkelaar op te nemen
- Door dekking geleide fuzzing stuurt willekeurige invoer met behulp van:
- Sterbeoordelingen van gebruikers
- Code-instrumentatie die meet welke vestigingen getroffen zijn
- De fase van de maan
- Alleen de bestandsnaam
- What did the TestPilot evaluation report as its median statement and branch coverage?
- 100% statement and branch coverage on every package
- 0% statement coverage and 52.8% branch coverage
- 70.2% statement coverage and 52.8% branch coverage across its studied packages
- The paper did not measure code coverage
- What does mutation testing assess about a test suite?
- Whether every test uses the same name
- Whether a characterization test preserves all current behavior
- Whether the fuzzer can reach a branch without running tests
- Whether tests detect small, deliberate changes made to the program