Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o metodách detekce halucinací
Testuje sebekonzistentní vzorkování, nároky na úrovni zdrojů vůči zdrojům, signály nejistoty, jako je sémantická entropie, a ověřování modelů soudců.
Otázka 1 z 8
Jaké pozorování je základem metod sebekonzistence, jako je SelfCheckGPT?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké pozorování je základem metod sebekonzistence, jako je SelfCheckGPT?
- Když model zná fakt, opakované vzorky mají tendenci souhlasit, zatímco vyrobené detaily mají tendenci se lišit
- Na opakované otázky dávají modelky vždy stejné odpovědi
- Delší odpovědi jsou vždy přesnější
- Nastavení teploty na nulu odstraní všechny halucinace
- Jaké je klíčové omezení kontroly sebekonzistence?
- Před použitím vyžaduje velkou označenou datovou sadu
- Funguje pouze na obrazových výstupech
- Chybí chyby, které model neustále opakuje, a stojí to další volání modelu
- Nemůže běžet bez načtených zdrojových dokumentů
- Co vlastně měří kontroly zdrojů uzemněných zdrojů?
- Datum ukončení tréninku modelky
- Věrnost poskytnutým zdrojům, což není totéž jako pravda, pokud jsou zdroje chybné
- Jak rychle model reaguje
- Kvalita gramatiky a pravopisu
- Jak se liší sémantická entropie od jednoduché nejistoty na úrovni tokenu?
- Počítá počet slov v každé odpovědi
- Spoléhá se pouze na lidské hodnotitele
- Vyhne se vzorkování více odpovědí
- Seskupuje vybrané odpovědi podle významu před měřením nejistoty
- Proč průvodce doporučuje požadovat po ověřovateli uvedení podpůrného rozpětí?
- Zkracuje výstup
- Díky tomu je ověření auditovatelné a jednoduchá shoda řetězce potvrdí, že se citace objeví ve zdroji
- Díky tomu je ověřovatel kreativnější
- Snižuje náklady na ověření na nulu
- Které kontroly by měly v detekčním kanálu běžet jako první?
- Levné deterministické kontroly, jako je potvrzení, že existují citované adresy URL, ID nebo čísla případů
- Plná lidská kontrola každé odpovědi
- Jemné doladění modelu na označených odpovědích
- Sémantická entropie na každém tokenu
- Jaké upozornění platí pro použití LLM jako soudce?
- Soudci nemohou číst zdrojové dokumenty
- Soudci pracují pouze v angličtině
- Soudci mají vždy pravdu
- Soudci mají své vlastní předsudky a chybovost, takže by měli být porovnáni s lidskými nálepkami
- Proč se modelky jednoduše ptáte: „Jsi si jistý?“ nespolehlivá metoda detekce?
- Modelky neumí číst doplňující otázky
- Je zakázáno podmínkami API
- Modelky se mohou vzdát správných odpovědí nebo obhajovat ty špatné
- Zdvojnásobí velikost kontextového okna