DalšíDalší průvodce
AI Trust and Safety Careers
Společnost
PRŮVODCE společností
Kalibrace důvěry znamená spoléhat se na systém AI v poměru k důkazům o tom, co dokáže.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Přílišná důvěra může skrýt chyby; příliš málo může zabránit užitečné pomoci. Cílem je informovaný, revidovatelný úsudek vázaný na úkol a provozní podmínky.
Rozlišujte statistickou kalibraci od důvěry člověka. Kalibrované skóre pravděpodobnosti má empirický vztah k tomu, jak často jsou předpovědi správné ve srovnatelných případech. Lidská důvěra také závisí na designu rozhraní, minulých zkušenostech, vysvětleních a důsledcích chyb. Verbální důvěra modelu je dalším výstupem k vyhodnocení. Bez spolehlivých důkazů to může znít jistě. Dokonce i statisticky kalibrovaný model může fungovat špatně a dobrá kalibrace na jednom datovém souboru nezaručuje kalibraci po změně jazyka, domény nebo úkolu. Poskytněte uživatelům informace, které podporují nezávislou kontrolu. Ukažte zdroje, popište příslušná omezení a oddělte ověřené výsledky od odvozených závěrů. Vyhněte se dekorativním odznakům spolehlivosti, které naznačují větší přesnost, než byla naměřena. Vyzkoušejte, jak lidé systém používají, včetně toho, zda si všimnou chyb a správně začnou přepisovat. Změřte jak přílišné spoléhání, tak zbytečné odmítání. Aktualizujte pokyny, když se změní chování, a zachovejte přímý způsob hlášení chyb nebo dokončení úkolu bez modelu.
04Zpracovaný příklad
Představte si 100 předpovědí, kterým je přiřazena přibližně 80% pravděpodobnost, že budou správné. Pouze 55 je správných v reprezentativním drženém vzorku.
Skupina je podle tohoto hodnocení příliš sebevědomá; zobrazených 80 % by nemělo být považováno za ověřenou spolehlivost.
Opakujte s dostatečným množstvím příkladů napříč rozsahy pravděpodobnosti a důležitými podskupinami, než změníte způsob zobrazování skóre uživatelům.
Co ukazuje
Vynalezené počty ilustrují vyhodnocení kalibrace a její závislost na vyhodnocovaném vzorku.
Porovnejte předpokládaná pásma pravděpodobnosti s pozorovanými výsledky na vyložených příkladech.
Zobrazte podpůrnou zdrojovou pasáž vedle odpovědi, která vyžaduje ověření.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Ne sama od sebe. Zkontrolujte jeho důkazy a naměřenou spolehlivost systému pro tento druh úkolu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
AI Trust and Safety Careers
Společnost