LegközelebbKövetkező útmutató
Az orvosi mesterséges intelligencia eszközök értékelése klinikusként
Iparágak
Alkalmazási ÚTMUTATÓ
Az AI edtech eszköz értékelése azt jelenti, hogy vásárlás előtt ellenőrizni kell, hogy pontosak-e, védi-e a tanulói adatokat, működik-e a fogyatékkal élő diákok számára, tisztességesen bánik-e a csoportokkal, megfelel-e a költségvetésnek, és van-e bizonyíték arra, hogy javítja a tanulást.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez azért fontos, mert az iskolák nagy mennyiségben vásárolják meg az eszközöket, és egy gyenge vagy nem biztonságos termék diákok ezreit érinti, és korlátozott finanszírozást pazarol el.
A megalapozott értékelés hat területet fed le. Pontosság: tesztelje az eszközt a saját tanterv tartalmán, beleértve a nehéz és kétértelmű eseteket, és számolja be a hibákat. A generatív eszközök magabiztosan közölhetik a rossz válaszokat, ezért kérdezze meg, hogyan csökkenti a szállító a hibákat, és hogyan láthatják és javíthatják a tanárok a kimeneteket. Adatvédelem és biztonság: az Egyesült Államokban a tanulói nyilvántartásokat a FERPA védi, a COPPA pedig a 13 év alatti gyermekektől adatgyűjtést végző szolgáltatásokra vonatkozik; sok állam hozzáadja saját hallgatói adatvédelmi törvényeit. Kérdezze meg, milyen adatokat gyűjtenek, hol tárolják, mennyi ideig tárolják, képezik-e a modelleket, és mely harmadik fél AI-szolgáltatók kapják meg azokat. Sok körzet használ adatvédelmi megállapodásokat, beleértve a Student Data Privacy Consortium sablonjait. Hozzáférhetőség: kérjen akadálymentesítési megfelelőségi jelentést (gyakran VPAT) a WCAG 2.1 AA-val szemben, majd ellenőrizze saját maga képernyőolvasóval és billentyűzettel. Elfogultság: ellenőrizze, hogy az eszköz rosszabbul teljesít-e az angoltanulók, bizonyos nyelvjárású tanulók vagy fogyatékkal élő tanulók esetében, és hogy az automatizált pontozás vagy megjelölés egyenetlenül eshet-e egyes csoportokra. Költség: tartalmazza a licenceket, a képzést, a tanulásirányítási rendszerrel való integrációt és az ingyenes időszak lejárta utáni árat. Bizonyítékok: Az Every Student Succeeds Act négy bizonyítéki szintet határoz meg: erős (jól megtervezett randomizált tanulmányok), mérsékelt, ígéretes és „indoklást bizonyít”. Sok mesterséges intelligencia termék csak 4. szintű bizonyítékot vagy szállítói esettanulmányt kínál, ezért a helyi pilóta számít. Gyakori tévhitek: hogy egy jól ismert márka garantálja a megfelelést, hogy az „AI-alapú” hatékonyabb, és hogy a nagy elkötelezettség a tanulást bizonyítja. Az alkalmazáson eltöltött idő és az elégedettségi felmérések nem mérhető tanulási eredmények. Az Egyesült Államok Oktatási Minisztériumának 2023-as jelentése a mesterséges intelligenciáról a tanításban, kiemeli, hogy az embereket folyamatosan figyelemmel kell kísérni, ez egy hasznos teszt: felülbírálhatják, áttekinthetik és elmagyarázhatják-e az eszköz működését?
Egy körzet arra kéri a mesterséges intelligencia íróját, hogy írjon alá egy adatvédelmi megállapodást, amelyben kijelenti, hogy a tanulói esszéket nem használják fel a modellek képzésére, és elmegy, ha az eladó ezt megtagadja.
Egy tantervi csapat 50 valódi házi feladattal tesztel egy AI matematikai oktatót, és rossz válaszokat talál a többlépcsős szöveges feladatokra, ezért korlátozza az eszközt a gyakorlatok gyakorlására tanári véleményezéssel.
A kisegítő lehetőségek koordinátora képernyőolvasót és csak billentyűzetes navigációt használ egy új mesterséges intelligencia olvasóplatformon, és rájön, hogy a csevegőablak nem érhető el egér nélkül.
Egy iskola egy féléves kísérleti kísérletet hajt végre négy osztályban egy összehasonlító csoporttal, mérik a kvíz pontszámait és a tanárok megspórolt idejét, mielőtt döntenek a megújításról.
A beszerzések egyre strukturáltabbak, ahogy a körzetek, az állami ügynökségek és a nonprofit szervezetek AI-értékelési rubrikákat és megosztott átvilágítási eredményeket tesznek közzé, ami csökkentheti a kisiskolák duplikált erőfeszítéseit. A mesterséges intelligencia oktatóiról és a visszajelzési eszközökről szigorúbb független tanulmányok folynak, de az eredmények évekig tartanak, és tárgyonként és életkoronként változhatnak. A szállítók valószínűleg több átláthatóságot biztosítanak majd, például auditnaplókat és tanári vezérlőket. Az alapvető fegyelem nem változik: tesztelje saját tartalmait, védje meg a tanulói adatokat szerződéssel, és ítéljen a tanulási eredmények alapján.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az AI edtech eszköz értékelése azt jelenti, hogy vásárlás előtt ellenőrizni kell, hogy pontosak-e, védi-e a tanulói adatokat, működik-e a fogyatékkal élő diákok számára, tisztességesen bánik-e a csoportokkal, megfelel-e a költségvetésnek, és van-e bizonyíték arra, hogy javítja a tanulást. Ez azért fontos, mert az iskolák nagy mennyiségben vásárolják meg az eszközöket, és egy gyenge vagy nem biztonságos termék diákok ezreit érinti, és korlátozott finanszírozást pazarol el.
Erős bizonyíték, az 1. szint, jól megtervezett randomizált, kontrollált vizsgálatokból származik. Sok mesterséges intelligencia termék csak a 4. szintű bizonyítékot kínálja.
Ha tudjuk, hogy az adatfolyamok modellezzék-e, és hogy mely mesterséges intelligencia-szolgáltatók kapják meg, akkor kiderül, hogy valós adatlehetőség.
A WCAG 2.1 AA megfelelőségi jelentése a kezdet, de a gyakorlati tesztelés olyan hiányosságokat tár fel, mint például a billentyűzettel elérhetetlen chat ablakok.
A tanulók élvezhetik vagy tölthetik idejüket egy alkalmazásban anélkül, hogy többet tanulnának, ezért az eredményeket közvetlenül kell mérni.
Az alapmodell cseréje vagy frissítése megváltoztathatja a válaszokat, így egy rögzített tesztkészlet érzékeli a regressziókat.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Az orvosi mesterséges intelligencia eszközök értékelése klinikusként
Iparágak