DalšíDalší průvodce
Hodnocení lékařských nástrojů umělé inteligence jako klinického lékaře
Průmyslová odvětví
PRŮVODCE aplikacemi
Hodnocení nástroje AI edtech znamená před nákupem zkontrolovat, zda je přesný, zda chrání data studentů, funguje pro studenty s postižením, zachází se skupinami spravedlivě, odpovídá rozpočtu a má důkazy, že zlepšuje učení.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože školy nakupují nástroje ve velkém a slabý nebo nebezpečný produkt ovlivňuje tisíce studentů a plýtvá omezenými finančními prostředky.
Řádné hodnocení pokrývá šest oblastí. Přesnost: otestujte nástroj na svém vlastním obsahu učebního plánu, včetně tvrdých a nejednoznačných případů, a počítejte chyby. Generativní nástroje mohou s jistotou uvést nesprávné odpovědi, proto se zeptejte, jak dodavatel snižuje chyby a jak mohou učitelé vidět a opravovat výstupy. Soukromí a bezpečnost: v USA jsou záznamy studentů chráněny FERPA a COPPA se vztahuje na služby shromažďující data od dětí mladších 13 let; mnoho států přidává své vlastní zákony na ochranu soukromí studentů. Zeptejte se, jaká data jsou shromažďována, kde jsou uložena, jak dlouho jsou uchovávána, zda trénují modely a kteří externí poskytovatelé umělé inteligence je dostávají. Mnoho okresů používá smlouvy o ochraně osobních údajů, včetně šablon od Student Data Privacy Consortium. Usnadnění: požádejte o zprávu o shodě přístupnosti (často VPAT) s WCAG 2.1 AA a poté ji sami zkontrolujte pomocí čtečky obrazovky a klávesnice. Zaujatost: zkontrolujte, zda nástroj funguje hůře pro studenty angličtiny, studenty s určitými dialekty nebo studenty s postižením a zda automatické bodování nebo označování může na některé skupiny dopadnout nerovnoměrně. Cena: zahrnuje licence, školení, integraci se systémem řízení výuky a cenu po skončení volného období. Důkaz: Zákon o úspěchu každého studenta definuje čtyři úrovně důkazů: silné (dobře navržené randomizované studie), umírněné, slibné a „demonstruje zdůvodnění“. Mnoho produktů AI nabízí pouze důkazy úrovně 4 nebo případové studie dodavatele, takže záleží na místním pilotním projektu. Běžné mylné představy: že známá značka zaručuje dodržování předpisů, že „poháněno umělou inteligencí“ znamená efektivnější a že vysoká angažovanost je důkazem učení. Čas strávený v aplikaci a průzkumy spokojenosti nejsou měřené zisky z učení. Zpráva amerického ministerstva školství z roku 2023 o umělé inteligenci ve výuce zdůrazňuje, že udržuje lidi ve smyčce, což je užitečný test: mohou učitelé přepsat, zkontrolovat a vysvětlit, co tento nástroj dělá?
Čtvrť požádá dodavatele se zpětnou vazbou pro psaní AI, aby podepsal dohodu o ochraně osobních údajů, v níž se uvádí, že studentské eseje nebudou použity k výcviku jejích modelů, a odejde, když prodejce odmítne.
Tým pro kurikulum testuje učitele matematiky AI s 50 skutečnými domácími úkoly a najde špatné odpovědi na vícekrokové slovní úlohy, takže omezuje nástroj na procvičování cvičení s hodnocením učitele.
Koordinátor přístupnosti používá čtečku obrazovky a navigaci pouze pomocí klávesnice na nové platformě pro čtení AI a zjišťuje, že jeho okno chatu není dostupné bez myši.
Škola provozuje jednosemestrální pilotní projekt ve čtyřech třídách se srovnávací skupinou, měří skóre v kvízech a ušetřený čas učitele, než se rozhodne, zda prodloužit.
Zadávání veřejných zakázek se stává strukturovanějším, protože okresy, státní agentury a neziskové organizace zveřejňují rubriky hodnocení AI a sdílené výsledky prověřování, což může snížit duplicitní úsilí malých škol. Probíhají přísnější nezávislé studie lektorů AI a nástrojů pro zpětnou vazbu, ale výsledky trvají roky a mohou se lišit podle předmětu a věku. Prodejci pravděpodobně nabídnou více funkcí transparentnosti, jako jsou protokoly auditu a kontroly učitelů. Základní disciplína se nezmění: testujte svůj vlastní obsah, chraňte data studentů na základě smlouvy a posuzujte podle výsledků učení.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Hodnocení nástroje AI edtech znamená před nákupem zkontrolovat, zda je přesný, zda chrání data studentů, funguje pro studenty s postižením, zachází se skupinami spravedlivě, odpovídá rozpočtu a má důkazy, že zlepšuje učení. Je to důležité, protože školy nakupují nástroje ve velkém a slabý nebo nebezpečný produkt ovlivňuje tisíce studentů a plýtvá omezenými finančními prostředky.
Silné důkazy, úroveň 1, pocházejí z dobře navržených randomizovaných kontrolovaných studií. Mnoho produktů AI nabízí pouze důkazy úrovně 4.
Vědět, zda data trénují modely a kteří poskytovatelé AI je získávají, odhaluje skutečné vystavení dat.
Zpráva o shodě s WCAG 2.1 AA je začátek, ale praktické testování zachycuje mezery, jako jsou okna chatu nedosažitelná pomocí klávesnice.
Studenti si mohou užívat nebo trávit čas v aplikaci, aniž by se učili více, takže výsledky musí být měřeny přímo.
Výměna nebo aktualizace základního modelu může změnit odpovědi, takže pevná testovací sada detekuje regrese.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Hodnocení lékařských nástrojů umělé inteligence jako klinického lékaře
Průmyslová odvětví