DalšíDalší průvodce
Jemné doladění odběru vzorků
Jazyk AI
Jazyk AI GUIDE
Entropie shrnuje, jak rozptýlená je pravděpodobnostní distribuce následujícího tokenu modelu.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Některé dekódovací politiky ji používají k úpravě vzorkování, ale entropie není kalibrovaným měřítkem faktické jistoty a sama o sobě neukazuje, že je odpověď špatná.
Standardní dekódování používá fixní teplotu a top-p po celou generaci, ale nejistota modelu se výrazně liší token od tokenu: je téměř jistá po 'New York', ale nejistá na začátku kreativní věty. Entropie‑závislé vzorkování měří Shannonovu entropii distribuce pravděpodobností následujícího tokenu (a někdy entropii pozornosti nebo logitů 'varentropy') a používá ji k modulaci dekódování. Nízká entropie znamená, že pravděpodobnostní hmotnost je soustředěná; vysoká entropie znamená, že je rozptýlená. Žádná z hodnot neudává faktickou správnost. Některé výzkumné prototypy používají entropii nebo související statistiky k spouštění různých dekódovacích akcí, jako je větvení nebo vyhledávání, ale jsou to heuristiky, jejichž účinky vyžadují úkol‑specifické hodnocení.
Automaticky snižuje teplotu na jistých, faktických rozpětích (data, jména) a zároveň ji zvyšuje pro neomezená kreativní pokračování.
Spuštění dalšího myšlenkového řetězce nebo kroku uvažování pouze tehdy, když entropie dalšího tokenu stoupne, což ušetří výpočet na jednoduchých tokenech.
Použití vysoké entropie jako varování před halucinacemi, které vyzve systém, aby získal zdroj nebo označil uživatele za nízkou důvěru.
Dekódování ve stylu Entropix, které se rozvětvuje do více možných pokračování, když si model skutečně není jistý směrem.
Adaptivní, nejistotově‑uvědomělé dekódování pravděpodobně proplýne s rozumem a používáním nástrojů: systém by mohl použít statistiky distribuce jako jeden signál pro výběr jiné dekódovací strategie nebo požadování externích důkazů. Entropie sama o sobě by neměla být prezentována jako kalibrovaná jistota nebo detektor pravdy; jakákoliv směrovací politika musí být ověřena pro její úkol a uživatele.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Entropie shrnuje, jak rozptýlená je pravděpodobnostní distribuce následujícího tokenu modelu. Některé dekódovací politiky ji používají k úpravě vzorkování, ale entropie není kalibrovaným měřítkem faktické jistoty a sama o sobě neukazuje, že je odpověď špatná.
Shannonova entropie shrnuje rozptýlení distribuce; není to přímé měření pravdy nebo správnosti.
Varentropy je statistika distribuce o variaci překvapení, ne nezávislý faktický popisek.
Vysoká entropie naznačuje nejistotu v distribuci následujícího tokenu, ale neudává pravdu tvrzení.
Entropie‑řízené dekódování mění výběr tokenu, ale faktická správnost a kalibrace vyžadují samostatné hodnocení.
Entropie je vypočtena z distribuce modelu a není externím důkazem o faktickém tvrzení.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jemné doladění odběru vzorků
Jazyk AI