LegközelebbKövetkező útmutató
Az alapértelmezett modellek valószínűsége
Műszaki
Műszaki ÚTMUTATÓ
A kalibráció azt jelenti, hogy a modellben megadott valószínűségek megegyeznek a valósággal: amikor azt mondja, hogy 70%, az eseménynek az esetek 70%-ában meg kell történnie.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a pontos magabiztosság jó döntéseket hoz az orvostudomány, a pénzügy és a kockázatérzékeny mesterséges intelligencia területén.
Egy modell lehet pontos, de rosszul kalibrálva. A modern mélyhálózatok a túlzott önbizalomról híresek, és 99%-ban jóval ritkábban adnak igazat. A kalibrálás ezt az előrejelzések megbízhatósági csoportosításával és a megfigyelt gyakoriság ellenőrzésével ellenőrzi az egyes csoportokban. A megbízhatósági diagram az előre jelzett és a tényleges viszonyokat ábrázolja; egy tökéletesen kalibrált modell ül az átlón. Az Expected Calibration Error (ECE) a különbséget a tartályok súlyozott átlagaként összegzi. A javítások két változatban érhetők el: post-hoc módszerek, mint például Platt-skálázás (logisztikus transzformáció illesztése), hőmérséklet-skálázás (a logitokat elosztja egy tanult skalár T-vel) és izotóniás regresszió (monoton lépésillesztés); és a képzési idejű módszerek, mint a címkesimítás vagy a megfelelő pontozási veszteségek. A kalibrálás és a pontosság különálló célok, és az egyik javításának nem kell javítania a másikon.
Egy meteorológiai szolgálat biztosítja, hogy az előrejelzések szerint a 30%-os esős napokon az esetek körülbelül 30%-ában eső legyen, ez a tankönyvi kalibrálási cél.
A hitel-nemteljesítési modell hőmérséklet-skálán működik, így a megadott 5%-os nemteljesítési kockázat valóban megfelel a hitelek árazásánál alkalmazott 5%-os múltbeli nemteljesítési aránynak.
Az orvosi diagnosztikai hálózatot izotóniás regresszióval kalibrálják újra, így a „betegség nagy valószínűsége” tükrözi a valós előfordulást, mielőtt a klinikusok intézkednének.
Az önvezető észlelési verem kalibrálja az objektumészlelési megbízhatóságot, így a tervezési modul a gyalogosok 90%-os pontszámát megfelelően megbízza.
Ahogy a mesterséges intelligencia belép a nagy téttel rendelkező hurkokba, a kalibráció az utólagos gondolkodástól a követelmény felé halad. A munka kiterjed a nagy nyelvi modell megbízhatóságának és a verbalizált bizonytalanság kalibrálására, az eloszlás eltolódása alatti kalibrációra és a csoportonkénti kalibrációra, így a valószínűségek tisztességesek az alpopulációk között. A modellkártyák és a hatósági auditok pontossága mellett kalibrációs metrikákra is számíthat, valamint szorosabb integrációra a konform előrejelzéssel és a szelektív előrejelzéssel, hogy a rendszerek megbízhatóan tartózkodhassanak, ha alacsony az őszinte bizalom.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A kalibráció azt jelenti, hogy a modellben megadott valószínűségek megegyeznek a valósággal: amikor azt mondja, hogy 70%, az eseménynek az esetek 70%-ában meg kell történnie. Ez azért fontos, mert a pontos magabiztosság jó döntéseket hoz az orvostudomány, a pénzügy és a kockázatérzékeny mesterséges intelligencia területén.
A hőmérséklet-skálázás egyetlen tanult T-vel osztja a logitokat, és újra alkalmazza a softmax-ot, a lágyítási vagy élesítési valószínűségeket az argmax megváltoztatása nélkül.
A megbízhatósági diagram összehasonlítja az előre jelzett bizalmat a tényleges eredmény gyakorisággal; az átló tökéletes kalibrációt jelent.
Egy modell jól rangsorolhatja az előrejelzéseket (nagy pontosság), ugyanakkor nem illő valószínűségi értékeket rendelhet hozzá, ezért a kalibrációt külön kell ellenőrizni.
The guide says the single temperature is fit on validation data to minimize negative log-likelihood.
A positive temperature rescales logits before softmax, adjusting confidence while preserving the argmax class.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az alapértelmezett modellek valószínűsége
Műszaki