Kvíz spojený s průvodcem · Těžko úroveň

Kvíz o metodách detekce halucinací

Testuje sebekonzistentní vzorkování, nároky na úrovni zdrojů vůči zdrojům, signály nejistoty, jako je sémantická entropie, a ověřování modelů soudců.

Související vodicí cestyMetody detekce halucinací
Otázka 1 z 8

Jaké pozorování je základem metod sebekonzistence, jako je SelfCheckGPT?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké pozorování je základem metod sebekonzistence, jako je SelfCheckGPT?
    • Když model zná fakt, opakované vzorky mají tendenci souhlasit, zatímco vyrobené detaily mají tendenci se lišit
    • Na opakované otázky dávají modelky vždy stejné odpovědi
    • Delší odpovědi jsou vždy přesnější
    • Nastavení teploty na nulu odstraní všechny halucinace
  2. Jaké je klíčové omezení kontroly sebekonzistence?
    • Před použitím vyžaduje velkou označenou datovou sadu
    • Funguje pouze na obrazových výstupech
    • Chybí chyby, které model neustále opakuje, a stojí to další volání modelu
    • Nemůže běžet bez načtených zdrojových dokumentů
  3. Co vlastně měří kontroly zdrojů uzemněných zdrojů?
    • Datum ukončení tréninku modelky
    • Věrnost poskytnutým zdrojům, což není totéž jako pravda, pokud jsou zdroje chybné
    • Jak rychle model reaguje
    • Kvalita gramatiky a pravopisu
  4. Jak se liší sémantická entropie od jednoduché nejistoty na úrovni tokenu?
    • Počítá počet slov v každé odpovědi
    • Spoléhá se pouze na lidské hodnotitele
    • Vyhne se vzorkování více odpovědí
    • Seskupuje vybrané odpovědi podle významu před měřením nejistoty
  5. Proč průvodce doporučuje požadovat po ověřovateli uvedení podpůrného rozpětí?
    • Zkracuje výstup
    • Díky tomu je ověření auditovatelné a jednoduchá shoda řetězce potvrdí, že se citace objeví ve zdroji
    • Díky tomu je ověřovatel kreativnější
    • Snižuje náklady na ověření na nulu
  6. Které kontroly by měly v detekčním kanálu běžet jako první?
    • Levné deterministické kontroly, jako je potvrzení, že existují citované adresy URL, ID nebo čísla případů
    • Plná lidská kontrola každé odpovědi
    • Jemné doladění modelu na označených odpovědích
    • Sémantická entropie na každém tokenu
  7. Jaké upozornění platí pro použití LLM jako soudce?
    • Soudci nemohou číst zdrojové dokumenty
    • Soudci pracují pouze v angličtině
    • Soudci mají vždy pravdu
    • Soudci mají své vlastní předsudky a chybovost, takže by měli být porovnáni s lidskými nálepkami
  8. Proč se modelky jednoduše ptáte: „Jsi si jistý?“ nespolehlivá metoda detekce?
    • Modelky neumí číst doplňující otázky
    • Je zakázáno podmínkami API
    • Modelky se mohou vzdát správných odpovědí nebo obhajovat ty špatné
    • Zdvojnásobí velikost kontextového okna