DalšíDalší průvodce
Termíny uzávěrky znalostí v LLM
Jazyk AI
Jazyk AI GUIDE
Kletba obrácení je překvapivým způsobem selhání, kdy jazykový model, který se naučí „A je B“, nemůže spolehlivě odpovědět „B je A“. Odhaluje, že LLM ukládají fakta jako jednosměrné asociace, nikoli jako symetrické znalosti.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Zdokumentovaná v dokumentu z roku 2023 od Berglunda a jeho kolegů, obrácená kletba ukazuje, že pokud je modelka trénována na 'matkou Toma Cruise je Mary Lee Pfeiffer,' často selže, když se ho zeptáte: 'Kdo je syn Mary Lee Pfeiffer?' i když odpověď je logicky stejná. Efekt přetrvává napříč modelovými velikostmi a dokonce i po doladění stovek takových skutečností. Není to paměťová mezera: model viděl informace, ale pouze v jednom pořadí. Vzhledem k tomu, že trénování optimalizuje predikci dalšího tokenu přes přesný slovosled v datech, statistická vazba z A do B automaticky nevytvoří vazbu z B zpět do A. Zjištění zpochybnilo předpoklady, že samotné škálování vytváří flexibilní, lidské uvažování nad fakty.
Chatbot správně uvede rodiče celebrity, ale selže, když bude požádán o jméno slavného dítěte tohoto rodiče.
Model recituje „devátým prezidentem byl William Henry Harrison“, ale narazí na to, „kterým prezidentem byl William Henry Harrison“.
Asistent kódování, který se naučil mapování funkce na popis, nemůže obnovit název funkce pouze z popisu.
Lékařský systém kontroly kvality vyškolený na „Léčivo X léčí stav Y“ neuvádí lék X na otázku, co léčí stav Y.
Mezi zkoumaná zmírnění patří obousměrné rozšiřování dat (přidání obrácených frází), tréninkové cíle, které předpovídají tokeny v obou směrech, a vyhledávací systémy, které vyhledávají fakta symetricky, místo aby se spoléhaly na zapamatované váhy. Některé novější architektury a experimenty se zpětným předtrénováním tuto mezeru zmenšují. Očekávejte, že se prokletí zmenší, ale nezmizí, protože odhaluje hluboký nesoulad mezi učením dalšího tokenu a symetrickou strukturou vztahů v reálném světě.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kletba obrácení je překvapivým způsobem selhání, kdy jazykový model, který se naučí „A je B“, nemůže spolehlivě odpovědět „B je A“. Odhaluje, že LLM ukládají fakta jako jednosměrné asociace, nikoli jako symetrické znalosti.
The paper names this directional failure the reversal curse.
The paper reports that forward and reverse statements can behave differently.
The research tests failure on a reverse query after forward exposure.
The paper discusses sequence direction as relevant to the failure.
The finding challenges assumptions about flexible use of stored facts.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Termíny uzávěrky znalostí v LLM
Jazyk AI