LegközelebbKövetkező útmutató
Adatlendítőkerekek: A éles adatok átalakítása betanítási adatokká
Műszaki
Műszaki ÚTMUTATÓ
A befolyásoló függvények megbecsülik, hogy az egyes betanítási példák mennyiben alakították a modell előrejelzését, lehetővé téve a kimenet visszakövetését az azt okozó adatokhoz.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Azért számítanak, mert egy átláthatatlan modellt olyanná változtatnak, ami ellenőrizhető szerzői jog, hibakeresés és bizalom szempontjából.
Influence functions come from robust statistics and were adapted to deep learning by Koh and Liang in 2017. The core question is counterfactual: how would the model's loss on a test point change if a particular training example were removed or up-weighted? Rather than actually retraining (which is hopelessly expensive), influence functions approximate that change using calculus. They compute the gradient of the loss for the training point and the test point, then connect them through the inverse Hessian of the loss, which captures the curvature of the model's parameter space. Under Koh and Liang’s standard upweighting-on-test-loss convention, I_up,loss measures how infinitesimally increasing a training point’s weight changes the loss on a chosen test point. A positive value means upweighting raises test loss (a harmful influence); a negative value means it lowers test loss (a helpful influence). Removing a point reverses the sign of the first-order estimated change. Other influence scores may target predictions or use a different sign convention, so define the quantity before interpreting its sign. The result is a ranked list of the most responsible training examples.
Annak nyomon követése, hogy mely szerzői jogvédelem alatt álló könyvek befolyásolták leginkább a nyelvi modell által generált szövegrészt jogi és engedélyezési elemzés céljából
Helytelen besorolás hibakeresése a rosszul felcímkézett képzési képek felszínre kerülésével, amelyek a modellt rossz válasz felé tolták
Mérgezett vagy rendellenes edzési példák észlelése, amelyek túlzott befolyást gyakorolnak bizonyos előrejelzésekre
Hitel- vagy munkaerő-kölcsönzési modell auditálása annak kimutatására, hogy mely történelmi adatok vezettek a vitatott döntéshez
Várhatóan a befolyásalapú hozzárendelés az AI elszámoltathatóságának infrastruktúrájává válik. Azok a szabályozó hatóságok és bíróságok, amelyek azt vizsgálják, hogy a szerzői jog által védett szöveg formálta-e a kimenetet, példaszintű származást akarnak majd, a fejlesztők pedig arra fogják használni, hogy tévesen címkézett vagy mérgezett adatokat hozzanak felszínre. Az olcsóbb közelítések, mint például a TRAK és a színátmenet-vázlatok a valós idejű hozzárendelést mozdítják elő, és a tanulás megszakításával kombinálva a csapatok teljes átképzés nélkül eltávolíthatják a dokumentum befolyását.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A befolyásoló függvények megbecsülik, hogy az egyes betanítási példák mennyiben alakították a modell előrejelzését, lehetővé téve a kimenet visszakövetését az azt okozó adatokhoz. Számítanak, mert egy átlátszatlan modellt a szerzői jog, a hibakeresés és a bizalom szempontjából auditálhatóvá alakítanak.
A befolyásoló függvények megbecsülik egy edzéspélda súlyának megzavarásának hatását a veszteségre egy tesztponton, közelítve a kihagyás-egyszeri újraképzést anélkül, hogy ezt megtennénk.
A klasszikus befolyási képlet megköveteli a Hessian invertálását minden paraméter felett, ami nem kivitelezhető több milliárd paraméterű modellnél.
Pang Wei Koh és Percy Liang 2017-es „A feketedoboz-előrejelzések megértése befolyásolási függvények segítségével” című tanulmánya a technikát a mély tanulásba vitte.
For I_up,loss, a negative derivative means increasing the training point’s weight decreases the selected test loss; removing it has the opposite first-order effect.
Anthropic 2023-as tanulmánya az EK-FAC-t használta az inverz Hessian közelítésére, lehetővé téve a nagy nyelvi modellek hatáselemzését.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Adatlendítőkerekek: A éles adatok átalakítása betanítási adatokká
Műszaki