DalšíDalší průvodce
Spekulativní streamování a predikce více tokenů
Technický
Technický PRŮVODCE
Konformní predikce obalí jakýkoli model tak, aby vytvořil množinu nebo interval, který bude zaručeně obsahovat pravdivou odpověď se zvolenou pravděpodobností, například 90 %.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It turns a single guess into a trustworthy range with a mathematical coverage promise.
Většina modelů vám předá bodovou předpověď nebo skóre softmax, které vypadá jako sebevědomí, ale často tomu tak není. Konformní predikce to řeší. Vezmete natrénovaný model, vyhodnotíte, jak „podivný“ je každý příklad pomocí míry neshody (například chyba nebo jedna mínus předpokládaná pravděpodobnost) a spočítáte tato skóre na kalibrační sadě. Chcete-li předpovědět nový bod, zahrnete každý štítek, jehož skóre neshody není horší než zhruba 90. percentil skóre kalibrace. Výsledkem je sada predikcí, případně několik značek pro klasifikaci nebo interval pro regresi. Hlavní záruka je bez distribuce: pokud jsou vaše data vyměnitelná, sada pokrývá skutečnou hodnotu za zvolenou sazbu, bez ohledu na to, jaký základní model jste použili.
Klasifikátor kožních lézí vrátí soubor {melanom, névus}, když si není jistý, a místo jediného přehnaně sebevědomého štítku si vyžádá kontrolu dermatologa.
Model s cenou domu poskytuje interval 310 000 až 365 000 $, který zaručuje, že bude obsahovat prodejní cenu 90 % času pro jednání s kupujícím.
Systém odpovědí na otázky LLM připojí malou kandidátskou sadu odpovědí se zárukou pokrytí, přičemž velké sady označí jako případy vyžadující kontrolu člověkem.
Potrubí pro testování toxicity léků vydává předpovědní intervaly, takže chemici vědí, které sloučeniny mají spolehlivě úzké odhady oproti nejistým.
Výzkum posouvá požadavky na směnitelnost směrem k časovým řadám a posunujícím se distribucím pomocí adaptivních a vážených konformních metod, které upravují prahové hodnoty online. Podmíněné krytí, které zaručuje, že sazba bude zachována pro každou podskupinu, nikoli pouze průměr, je hlavní otevřenou hranicí. Očekávejte, že se konformní vrstvy budou dodávat uvnitř potrubí LLM, lékařských nástrojů pro třídění a autonomních systémů, protože regulační orgány stále více požadují kalibrovanou, auditovatelnou nejistotu spíše než holé předpovědi.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Konformní predikce obalí jakýkoli model tak, aby vytvořil množinu nebo interval, který bude zaručeně obsahovat pravdivou odpověď se zvolenou pravděpodobností, například 90 %. Promění jediný odhad na důvěryhodný rozsah s příslibem matematického pokrytí.
Konformní predikce vrací množinu (klasifikace) nebo interval (regresi) navržený tak, aby obsahoval skutečnou hodnotu ve zvolené míře, například 90 %.
Záruka se opírá o směnitelnost, což znamená, že společné rozdělení se změnou pořadí bodů nemění. Nepotřebuje žádné předpoklady o modelu.
Skóre neshody se vypočítá na vyložené kalibrační sadě a jejich kvantil určuje, které štítky zahrnout pro nové body.
Pokrytí se rovná 1 minus alfa, takže alfa = 0,1 cílí na 90% pokrytí skutečné hodnoty.
Tvrdší vstupy poskytují více štítků, jejichž skóre spadá pod prahovou hodnotu, takže větší soubory signalizují větší nejistotu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Spekulativní streamování a predikce více tokenů
Technický