DalšíDalší průvodce
Pravděpodobnost výchozích modelů
Technický
Technický PRŮVODCE
Kalibrace znamená, že uvedené pravděpodobnosti modelu odpovídají skutečnosti: když říká 70 %, k události by mělo dojít v 70 % případů.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It matters because accurate confidence drives good decisions in medicine, finance, and risk-sensitive AI.
Model může být přesný, ale špatně zkalibrovaný. Moderní hluboké sítě jsou proslulé přílišnou sebedůvěrou a 99 % předpovědí, které jsou správné, jsou mnohem méně často. Kalibrace to kontroluje tak, že předpovědi seskupuje na základě spolehlivosti a kontroluje pozorovanou frekvenci v každém segmentu. Diagram spolehlivosti vykresluje předpokládané versus skutečné; na diagonále sedí perfektně zkalibrovaný model. Expected Calibration Error (ECE) shrnuje mezeru jako vážený průměr napříč zásobníky. Opravy přicházejí ve dvou variantách: post-hoc metody, jako je Plattovo škálování (přizpůsobení logistické transformace), teplotní škálování (dělení logitů naučeným skalárním T) a izotonická regrese (monotónní přizpůsobení kroku); a tréninkové metody, jako je vyhlazování štítků nebo správné bodové ztráty. Kalibrace a přesnost jsou odlišné cíle a zlepšení jednoho nemusí zlepšit druhý.
Meteorologická služba zajišťuje, že dny předpovídané při 30% dešti skutečně uvidí déšť asi 30% času, což je učebnicový kalibrační cíl.
Model úvěrového selhání je teplotně škálován, takže uvedené 5% riziko selhání skutečně odpovídá 5% historické míře selhání pro oceňování úvěrů.
Síť lékařských diagnóz je rekalibrována izotonickou regresí, takže „vysoká pravděpodobnost onemocnění“ odráží skutečnou incidenci dříve, než lékaři zareagují.
Samořídící sada vnímání kalibruje spolehlivost detekce objektů, takže plánovací modul přiměřeně důvěřuje 90% skóre chodců.
Jak umělá inteligence vstupuje do smyček s vysokými sázkami, kalibrace se posouvá od následné myšlenky k požadavku. Práce se rozšiřuje směrem ke kalibraci spolehlivosti velkého jazykového modelu a verbalizované nejistotě, kalibraci v rámci distribučního posunu a skupinové kalibraci, takže pravděpodobnosti jsou spravedlivé napříč subpopulacemi. Očekávejte kalibrační metriky spolu s přesností v modelových kartách a regulačních auditech a navíc těsnější integraci s konformní predikcí a selektivní predikcí, aby se systémy mohly spolehlivě zdržet, když je jejich poctivá důvěra nízká.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kalibrace znamená, že uvedené pravděpodobnosti modelu odpovídají skutečnosti: když říká 70 %, k události by mělo dojít v 70 % případů. Je to důležité, protože přesná důvěra vede k dobrým rozhodnutím v medicíně, financích a AI citlivé na rizika.
Teplotní škálování dělí logity jedním naučeným T a znovu aplikuje softmax, pravděpodobnost změkčení nebo zostření beze změny argmax.
Diagram spolehlivosti porovnává předpokládanou spolehlivost se skutečnou četností výsledků; úhlopříčka představuje dokonalou kalibraci.
Model může dobře hodnotit předpovědi (vysoká přesnost), ale přiřazovat nesprávné hodnoty pravděpodobnosti, takže kalibrace musí být kontrolována samostatně.
The guide says the single temperature is fit on validation data to minimize negative log-likelihood.
A positive temperature rescales logits before softmax, adjusting confidence while preserving the argmax class.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Pravděpodobnost výchozích modelů
Technický