DalšíDalší průvodce
Inter-Anotator Agreement a Cohen's Kappa
Technický
Technický PRŮVODCE
Cohenův kappa měří shodu mezi dvěma sadami kategorických štítků po zohlednění shody očekávané z jejich frekvencí štítků.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Pomáhá týmům posoudit konzistenci anotací, ale vysoké skóre neznamená, že kterýkoli z anotátorů je fakticky správný.
Předpokládejme, že se dva anotátoři shodují na většině příkladů. To zní uklidňujícím způsobem, ale na frekvencích kategorií záleží. Pokud oba téměř vždy zvolí stejnou společnou kategorii, může dojít k časté shodě bez větší schopnosti rozlišovat případy. Cohenův kappa porovnává pozorovanou shodu s výpočtem očekávané dohody na základě proporcí štítků každého anotátora. Vzorec odečte očekávanou shodu od pozorované shody a poté vydělí jedním mínus očekávaná shoda. Pokud je pozorovaná shoda 0,8 a očekávaná shoda 0,5, kappa je 0,6. Tyto hodnoty tvoří ilustrativní výpočet. Kappa jedna představuje dokonalou shodu, když je definován jmenovatel; nula znamená, že shoda odpovídá očekávání založenému na frekvenci. Záporné hodnoty znamenají menší shodu, než se očekávalo. Očekávaný termín nedokazuje, že by některá osoba hádala náhodně. Je to matematická reference vytvořená z okrajových frekvencí štítků. Pokud například jeden anotátor používá kategorii 60 % času a druhý ji používá 50 % času, tato kategorie přispívá k očekávané shodě 0,3. Přidejte příspěvky pro každou kategorii. Používejte nezávisle přiřazené štítky na stejných pouzdrech. Pokud druhý anotátor zkopíruje prvního, jejich dohoda říká málo o nezávislé spolehlivosti. Před změnou pokynů prozkoumejte vzory nesouhlasu a poté, pokud je to praktické, vyhodnoťte revidované pokyny na novém vzorku. Kappa také závisí na prevalenci kategorií a použití štítků anotátory. Neexistuje žádná univerzálně vhodná hranice, díky které je datová sada důvěryhodná. Spolu se skóre nahlaste velikost vzorku, nezpracovanou shodu a tabulku shody. Scikit-learn nabízí nevážené a vážené výpočty. Vážená kappa je vhodná v případě, že bylo jasně definováno pořadí kategorií a důsledky různě velkých neshod.
Dva lidé nezávisle označují stejné lístky podpory jako fakturační nebo technické. Zpráva kappa měří jejich souhlas a přezkoumání nesouhlasu odhaluje, kde je třeba vyjasnit pokyny pro označování.
V hypotetickém vzorku je pozorovaná shoda 80 % a očekávaná shoda 50 %. Kappa je (0,8 minus 0,5) děleno (1 minus 0,5), neboli 0,6.
Recenzenti přiřazují incidentům nízkou, střední nebo vysokou závažnost. Vážená kappa dokáže odlišit jednoúrovňový nesouhlas od neshody mezi nejnižší a nejvyšší úrovní.
Analytik použije cohen_kappa_score scikit-learn pro dvě zarovnaná pole štítků, poté nahlásí počty kategorií a tabulku dohod, aby si čtenáři mohli souhrn interpretovat.
Díky anotaci za pomoci umělé inteligence je důležitější zaznamenat, jak byl každý štítek vyroben. Dva recenzenti, kteří viděli stejný návrh modelu, mohou sdílet chybu, i když je jejich shoda vysoká. Týmy mohou posílit svůj proces uchováním vzorku označeného nezávisle, vedením záznamů o změnách instrukcí a diskusí o opakujících se neshodách s odborníky na doménu. Kappa může zůstat jednou součástí této recenze, spolu s kontrolami proti dobře podloženým referenčním odpovědím. Cílem je soubor dat, jehož štítky mají jasný význam a obhajitelný proces kontroly, spíše než jediné působivé číslo dohody.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Cohenův kappa měří shodu mezi dvěma sadami kategorických štítků po zohlednění shody očekávané z jejich frekvencí štítků. Pomáhá týmům posoudit konzistenci anotací, ale vysoké skóre neznamená, že kterýkoli z anotátorů je fakticky správný.
Kappa je (0,8 minus 0,5) děleno (1 minus 0,5), což se rovná 0,6.
Očekávaný člen je matematický základ vytvořený z mezních frekvencí; nepopisuje skutečný myšlenkový proces anotátorů.
Váhy umožňují, aby skóre odráželo vzdálenost mezi uspořádanými kategoriemi, za předpokladu, že pořadí a vážení jsou vhodné.
Jmenovatel je jedna mínus očekávaná shoda. Když je očekávaná shoda jedna, běžný vzorec není definován.
Zkopírovaná rozhodnutí neposkytují nezávislé posouzení, i když je jejich číselná shoda dokonalá.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Inter-Anotator Agreement a Cohen's Kappa
Technický