Alkalmazási ÚTMUTATÓ

Az AI EdTech Tools for Schools értékelése

Az AI edtech eszköz értékelése azt jelenti, hogy vásárlás előtt ellenőrizni kell, hogy pontosak-e, védi-e a tanulói adatokat, működik-e a fogyatékkal élő diákok számára, tisztességesen bánik-e a csoportokkal, megfelel-e a költségvetésnek, és van-e bizonyíték arra, hogy javítja a tanulást.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az AI EdTech eszközök iskolai értékelésének jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert az iskolák nagy mennyiségben vásárolják meg az eszközöket, és egy gyenge vagy nem biztonságos termék diákok ezreit érinti, és korlátozott finanszírozást pazarol el.

Mély merülés

A megalapozott értékelés hat területet fed le. Pontosság: tesztelje az eszközt a saját tanterv tartalmán, beleértve a nehéz és kétértelmű eseteket, és számolja be a hibákat. A generatív eszközök magabiztosan közölhetik a rossz válaszokat, ezért kérdezze meg, hogyan csökkenti a szállító a hibákat, és hogyan láthatják és javíthatják a tanárok a kimeneteket. Adatvédelem és biztonság: az Egyesült Államokban a tanulói nyilvántartásokat a FERPA védi, a COPPA pedig a 13 év alatti gyermekektől adatgyűjtést végző szolgáltatásokra vonatkozik; sok állam hozzáadja saját hallgatói adatvédelmi törvényeit. Kérdezze meg, milyen adatokat gyűjtenek, hol tárolják, mennyi ideig tárolják, képezik-e a modelleket, és mely harmadik fél AI-szolgáltatók kapják meg azokat. Sok körzet használ adatvédelmi megállapodásokat, beleértve a Student Data Privacy Consortium sablonjait. Hozzáférhetőség: kérjen akadálymentesítési megfelelőségi jelentést (gyakran VPAT) a WCAG 2.1 AA-val szemben, majd ellenőrizze saját maga képernyőolvasóval és billentyűzettel. Elfogultság: ellenőrizze, hogy az eszköz rosszabbul teljesít-e az angoltanulók, bizonyos nyelvjárású tanulók vagy fogyatékkal élő tanulók esetében, és hogy az automatizált pontozás vagy megjelölés egyenetlenül eshet-e egyes csoportokra. Költség: tartalmazza a licenceket, a képzést, a tanulásirányítási rendszerrel való integrációt és az ingyenes időszak lejárta utáni árat. Bizonyítékok: Az Every Student Succeeds Act négy bizonyítéki szintet határoz meg: erős (jól megtervezett randomizált tanulmányok), mérsékelt, ígéretes és „indoklást bizonyít”. Sok mesterséges intelligencia termék csak 4. szintű bizonyítékot vagy szállítói esettanulmányt kínál, ezért a helyi pilóta számít. Gyakori tévhitek: hogy egy jól ismert márka garantálja a megfelelést, hogy az „AI-alapú” hatékonyabb, és hogy a nagy elkötelezettség a tanulást bizonyítja. Az alkalmazáson eltöltött idő és az elégedettségi felmérések nem mérhető tanulási eredmények. Az Egyesült Államok Oktatási Minisztériumának 2023-as jelentése a mesterséges intelligenciáról a tanításban, kiemeli, hogy az embereket folyamatosan figyelemmel kell kísérni, ez egy hasznos teszt: felülbírálhatják, áttekinthetik és elmagyarázhatják-e az eszköz működését?

Valós megvalósítás

Egy körzet arra kéri a mesterséges intelligencia íróját, hogy írjon alá egy adatvédelmi megállapodást, amelyben kijelenti, hogy a tanulói esszéket nem használják fel a modellek képzésére, és elmegy, ha az eladó ezt megtagadja.

Egy tantervi csapat 50 valódi házi feladattal tesztel egy AI matematikai oktatót, és rossz válaszokat talál a többlépcsős szöveges feladatokra, ezért korlátozza az eszközt a gyakorlatok gyakorlására tanári véleményezéssel.

A kisegítő lehetőségek koordinátora képernyőolvasót és csak billentyűzetes navigációt használ egy új mesterséges intelligencia olvasóplatformon, és rájön, hogy a csevegőablak nem érhető el egér nélkül.

Egy iskola egy féléves kísérleti kísérletet hajt végre négy osztályban egy összehasonlító csoporttal, mérik a kvíz pontszámait és a tanárok megspórolt idejét, mielőtt döntenek a megújításról.

Az AI EdTech eszközök iskolai értékelésének jövője

A beszerzések egyre strukturáltabbak, ahogy a körzetek, az állami ügynökségek és a nonprofit szervezetek AI-értékelési rubrikákat és megosztott átvilágítási eredményeket tesznek közzé, ami csökkentheti a kisiskolák duplikált erőfeszítéseit. A mesterséges intelligencia oktatóiról és a visszajelzési eszközökről szigorúbb független tanulmányok folynak, de az eredmények évekig tartanak, és tárgyonként és életkoronként változhatnak. A szállítók valószínűleg több átláthatóságot biztosítanak majd, például auditnaplókat és tanári vezérlőket. Az alapvető fegyelem nem változik: tesztelje saját tartalmait, védje meg a tanulói adatokat szerződéssel, és ítéljen a tanulási eredmények alapján.

A gyakorlatba ültetés

Miért számít

  • Építési lehetőségek. Az alkalmazásszintű tervezés határozza meg, hogy az AI javítja-e a valós eredményeket.
  • Csapat és munkafolyamat. A jó munkafolyamat-integráció olyan termelékenységnövekedést eredményez, amelyben a felhasználók megbízhatnak.
  • Kockázat és biztonság. A jól körülhatárolt felhasználási esetek csökkentik a változtatások fáradtságát és a végrehajtás kockázatát.

Vigyázz

  • Egy megszakadt folyamat automatizálása felerősítheti a meglévő problémákat.
  • A csapatok túlautomatizálhatják és eltávolíthatják a szükséges emberi ítélőképességet.
  • A minőség sodródhat, ha a kimeneteket nem értékelik folyamatosan.

Következő lépések

  1. Térképezze fel az aktuális munkafolyamatot, és határozza meg a legnagyobb súrlódású lépést.
  2. Emberi ellenőrzőpontok meghatározása a teljes automatizálás előtt.
  3. Tanítsa meg a felhasználókat az utasításokról, az eszkalációs utakról és a minőségi szabványokról.
  4. Kövesse nyomon a feladat szintű eredményeket a tartós érték megerősítéséhez.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Evaluating AI EdTech Tools for Schools quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mit jelent az AI EdTech eszközök iskoláknak értékelése?

Az AI edtech eszköz értékelése azt jelenti, hogy vásárlás előtt ellenőrizni kell, hogy pontosak-e, védi-e a tanulói adatokat, működik-e a fogyatékkal élő diákok számára, tisztességesen bánik-e a csoportokkal, megfelel-e a költségvetésnek, és van-e bizonyíték arra, hogy javítja a tanulást. Ez azért fontos, mert az iskolák nagy mennyiségben vásárolják meg az eszközöket, és egy gyenge vagy nem biztonságos termék diákok ezreit érinti, és korlátozott finanszírozást pazarol el.

Az Every Student Succeed Act értelmében melyik bizonyítási szint alapszik jól megtervezett randomizált tanulmányokon?

Erős bizonyíték, az 1. szint, jól megtervezett randomizált, kontrollált vizsgálatokból származik. Sok mesterséges intelligencia termék csak a 4. szintű bizonyítékot kínálja.

Melyik kérdés teszteli legjobban a szolgáltató adatvédelmi gyakorlatát?

Ha tudjuk, hogy az adatfolyamok modellezzék-e, és hogy mely mesterséges intelligencia-szolgáltatók kapják meg, akkor kiderül, hogy valós adatlehetőség.

Mi a javasolt módja az akadálymentesítési kérelmek ellenőrzésének?

A WCAG 2.1 AA megfelelőségi jelentése a kezdet, de a gyakorlati tesztelés olyan hiányosságokat tár fel, mint például a billentyűzettel elérhetetlen chat ablakok.

Miért nem elegendő a hallgatói elkötelezettség a vásárlás igazolására?

A tanulók élvezhetik vagy tölthetik idejüket egy alkalmazásban anélkül, hogy többet tanulnának, ezért az eredményeket közvetlenül kell mérni.

Miért kell egy iskolának újra futtatnia a pontossági tesztkészletét a gyártó frissítése után?

Az alapmodell cseréje vagy frissítése megváltoztathatja a válaszokat, így egy rögzített tesztkészlet érzékeli a regressziókat.