Kvíz spojený s průvodcem · Střední úroveň
Kvíz generování testu AI
Posuďte limity testovacího orákula, charakterizační testy, generování symbolických a LLM testů, fuzzing a pokyny pro pokrytí. Zkontrolujte praktické limity.
Otázka 1 z 8
Jaký je „problém věštce“ při generování testů AI?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je „problém věštce“ při generování testů AI?
- Znát správný očekávaný výstup pro daný vstup
- Generování dostatečného množství náhodných vstupů pro spuštění programu
- Připojení testovacího zařízení k databázi
- Výběr programovacího jazyka pro testování
- Co zamyká „test charakterizace“?
- Nejrychlejší možný běh
- Aktuální chování kódu jako regresní základní linie
- Originální autorský styl kódování
- Formální matematický důkaz správnosti
- Pro jaký programovací jazyk implementovala a vyhodnotila studie TestPilot svůj přístup ke generování testů pomocí LLM?
- Rez
- Fortran
- JavaScript
- Pouze SQL
- Klíčovým rizikem přijetí testů generovaných umělou inteligencí bez kontroly je, že mohou:
- Běhejte příliš pomalu, aby to bylo užitečné
- Automaticky smažte zdrojový kód
- Práce pouze o víkendech
- Prosazujte a zmrazujte existující chyby, jako by byly správné
- Jak testovací asistenti na bázi LLM, jako je Copilot, obvykle vytvářejí test?
- Předpovídáním testovacího kódu z funkce a okolního kontextu
- Formálním prokázáním správnosti kódu
- Měřením teploty CPU
- Nahráním obrazovky vývojáře
- Fuzzing řízený pokrytím řídí náhodné vstupy pomocí:
- Uživatelské hodnocení hvězdičkami
- Kódové vybavení, které měří, které větve byly zasaženy
- Fáze měsíce
- Pouze název souboru
- Jakou mediánovou pokrytost příkazů a větví uvedlo hodnocení studie TestPilot?
- 100% pokrytost příkazů a větví u každého balíčku
- 0% pokrytost příkazů a 52,8% pokrytost větví
- 70,2% pokrytost příkazů a 52,8% pokrytost větví napříč studovanými balíčky
- Článek pokrytost kódu neměřil
- Co testování mutací hodnotí na testovací sadě?
- Zda každý test používá stejný název
- Zda charakterizační test zachovává veškeré aktuální chování
- Zda fuzer dokáže dosáhnout větve bez spuštění testů
- Zda testy odhalí malé, záměrné změny provedené v programu