DalšíDalší průvodce
Data Flywheels: Přeměna produkčních dat na tréninková data
Technický
Technický PRŮVODCE
Funkce vlivu odhadují, do jaké míry každý příklad školení utvářel předpověď modelu, což vám umožňuje sledovat výstup zpět k datům, která to způsobila.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Záleží na nich, protože přeměňují neprůhledný model v něco, co je možné kontrolovat pro autorská práva, ladění a důvěru.
Influence functions come from robust statistics and were adapted to deep learning by Koh and Liang in 2017. The core question is counterfactual: how would the model's loss on a test point change if a particular training example were removed or up-weighted? Rather than actually retraining (which is hopelessly expensive), influence functions approximate that change using calculus. They compute the gradient of the loss for the training point and the test point, then connect them through the inverse Hessian of the loss, which captures the curvature of the model's parameter space. Under Koh and Liang’s standard upweighting-on-test-loss convention, I_up,loss measures how infinitesimally increasing a training point’s weight changes the loss on a chosen test point. A positive value means upweighting raises test loss (a harmful influence); a negative value means it lowers test loss (a helpful influence). Removing a point reverses the sign of the first-order estimated change. Other influence scores may target predictions or use a different sign convention, so define the quantity before interpreting its sign. The result is a ranked list of the most responsible training examples.
Sledování, které knihy chráněné autorskými právy nejvíce ovlivnily pasáž vytvořenou jazykovým modelem, pro právní analýzu a analýzu licencí
Ladění chybné klasifikace zobrazením chybně označených tréninkových obrázků, které model posunuly k nesprávné odpovědi
Detekce otrávených nebo anomálních příkladů školení, které mají mimořádný vliv na konkrétní předpovědi
Audit úvěrového nebo náborového modelu s cílem ukázat, které historické záznamy vedly k napadenému rozhodnutí
Očekávejte, že atribuce založená na vlivu se stane infrastrukturou pro odpovědnost AI. Regulátoři a soudy zkoumající, zda text chráněný autorskými právy formoval výstup, budou chtít provenienci na úrovni příkladů a vývojáři jej použijí k odhalení chybně označených nebo otrávených dat. Levnější aproximace, jako je TRAK a gradientní skicování, posouvají atribuci směrem k reálnému času a její kombinace s odučením by týmům umožnila odstranit vliv dokumentu bez úplného přeškolení.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Funkce vlivu odhadují, do jaké míry každý příklad školení utvářel předpověď modelu, což vám umožňuje sledovat výstup zpět k datům, která to způsobila. Záleží na nich, protože přeměňují neprůhledný model v něco, co je možné kontrolovat pro autorská práva, ladění a důvěru.
Funkce vlivu odhadují účinek narušení hmotnosti příkladu tréninku na ztrátu v testovacím bodě, aproximují tak rekvalifikaci, při které se vynechá jedna, aniž by se to dělalo.
Klasický vzorec vlivu vyžaduje invertování Hessian přes všechny parametry, což je neproveditelné pro modely s miliardami parametrů.
Dokument Pang Wei Koh a Percy Liang z roku 2017 „Understanding Black-box Predictions via Influence Functions“ přinesl tuto techniku do hlubokého učení.
For I_up,loss, a negative derivative means increasing the training point’s weight decreases the selected test loss; removing it has the opposite first-order effect.
Studie Anthropic z roku 2023 použila EK-FAC k aproximaci inverzní hessiánštiny, což umožnilo analýzu vlivu na velké jazykové modely.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Data Flywheels: Přeměna produkčních dat na tréninková data
Technický