DalšíDalší průvodce
Předpojatost automatizace: Příliš důvěřovat strojům
Společnost
PRŮVODCE společností
Hodnocení AI může reprodukovat nebo zavádět rozdíly v tom, jak je práce studentů hodnocena, zvláště když tréninková data, rubrika nebo výzvy modelu nereprezentují celý rozsah studentů.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Rozdíl v podskupině je důvodem k prošetření hodnocení, nikoli důkazem předpojatosti nebo spravedlnosti sám o sobě.
Automatizované systémy hodnocení esejí dokážou odhadnout skóre z výběru slov, gramatiky, organizace, struktury argumentů, okamžité relevance nebo vzorů získaných z bodovaných příkladů. Model se může shodovat s lidským hodnocením na celkovém vzorku, přičemž se může chovat odlišně pro konkrétní styly psaní nebo skupiny studentů. Někteří studenti používají dialekty, vícejazyčné struktury, asistenční technologie nebo alternativní komunikační vzorce, které může hodnotící sada nedostatečně reprezentovat. Nepovažujte každý rozdíl ve skóre za důkaz diskriminace a nepovažujte vysoký průměr shody za důkaz férovosti. Zkontrolujte rubriku, výzvu, složení vzorku, rozdělení skóre a typy chyb. Zkontrolujte, zda nástroj odměňuje délku, slovní zásobu, pravopis nebo strukturní vzorce více, než vyžaduje cíl učení. Porovnejte skóre modelu s hodnocením vyškolených lidí a zkontrolujte případy, kdy hodnotitelé nesouhlasí. U důležitých rozhodnutí udržujte kvalifikovaného učitele ve smyčce kontroly a poskytněte studentům proces kladení otázek nebo opravování záznamu. Nedávný výzkum zkoumal, jak demografické složení tréninkových dat ovlivňuje spravedlivost vyladěného bodování esejí LLM na konkrétním korpusu eseje. Zjištění jsou specifická pro studované modely, data a design hodnocení; neurčují, jak se bude chovat systém jiné třídy. Školy by měly otestovat skutečný nástroj, výzvy, úrovně ročníků, jazyky a písemné úkoly, které používají. Hlásit velikosti vzorků, nejistotu a omezení. Pokud zpětná vazba od modelu studenta odradí nebo špatně čte obsah, opravte hodnocení a prozkoumejte příčinu, než začnete používat.
Porovnejte skóre a zpětnou vazbu pro eseje vyjadřující stejná kritéria rubriky různými způsoby.
Zkontrolujte, jak rubrika zachází s gramatikou vícejazyčných studentů spolu s kvalitou argumentů.
Zkontrolujte rozdíly ve skóre podle podskupiny s velikostí vzorku a nejistotou.
Nechte učitele zkontrolovat eseje, kde se modelové a lidské hodnocení neshodují.
Nástroje pro hodnocení esejí budou i nadále přidávat generativní zpětnou vazbu a vysvětlení na základě rubrik. Tyto doplňky mohou usnadnit diskuzi o skóre, ale samy o sobě neučiní jeho platnost. Školy by měly uchovávat záznamy o psaní a rubrikách studentů, testovat nové verze před použitím a dát pedagogům pravomoc opravovat skóre. Výzkum bude pokračovat v porovnání modelů, lidských hodnotitelů a různých písemných vzorků. Praktickou prioritou je transparentní hodnocení zaměřené na učení s jasným lidským hodnocením a možností odvolání pro každého studenta.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Hodnocení AI může reprodukovat nebo zavádět rozdíly v tom, jak je práce studentů hodnocena, zvláště když tréninková data, rubrika nebo výzvy modelu nereprezentují celý rozsah studentů. Rozdíl v podskupině je důvodem k prošetření hodnocení, nikoli důkazem předpojatosti nebo spravedlnosti sám o sobě.
Souhrnná shoda může zakrýt rozdíly v chybách podskupiny nebo v chování skóre.
Bodovací systém může vážit prvky odlišně od zamýšlené konstrukce.
Případy neshod pomáhají najít slabá místa v procesu bodování.
Shodné úkoly a kritéria činí srovnání smysluplnějším.
Samotná korelace neukazuje, že každá skupina nebo typ chyby je zpracován stejně.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Předpojatost automatizace: Příliš důvěřovat strojům
Společnost