VolgendeVolgende gids
Medische AI-hulpmiddelen evalueren als arts
Industrieën
ToepassingenGIDS
Het evalueren van een AI-edtech-tool betekent vóór aankoop controleren of deze accuraat is, de gegevens van studenten beschermt, werkt voor studenten met een beperking, groepen eerlijk behandelt, binnen het budget past en bewijs heeft dat het het leren verbetert.
Luister naar deze gidsAI-verteld · ~3 min
Het is van belang omdat scholen op grote schaal gereedschap kopen, en een zwak of onveilig product gevolgen heeft voor duizenden studenten en beperkte financiering verspilt.
Een goede evaluatie omvat zes gebieden. Nauwkeurigheid: test de tool op de inhoud van uw eigen curriculum, inclusief moeilijke en dubbelzinnige gevallen, en tel fouten. Generatieve tools kunnen vol vertrouwen foute antwoorden geven, dus vraag hoe de leverancier fouten reduceert en hoe docenten de uitkomsten kunnen zien en corrigeren. Privacy en veiligheid: in de VS worden studentengegevens beschermd door FERPA, en COPPA is van toepassing op diensten die gegevens verzamelen van kinderen onder de 13 jaar; veel staten voegen hun eigen privacywetten voor studenten toe. Vraag welke gegevens worden verzameld, waar deze worden opgeslagen, hoe lang deze worden bewaard, of er modellen worden getraind en welke externe AI-aanbieders deze ontvangen. Veel districten maken gebruik van dataprivacyovereenkomsten, waaronder sjablonen van het Student Data Privacy Consortium. Toegankelijkheid: vraag om een toegankelijkheidsconformiteitsrapport (vaak een VPAT) volgens WCAG 2.1 AA, en controleer dit vervolgens zelf met een schermlezer en toetsenbord. Bias: controleer of de tool slechter presteert voor Engelse leerlingen, studenten met bepaalde dialecten of studenten met een beperking, en of geautomatiseerde scores of markeringen voor sommige groepen ongelijkmatig kunnen uitpakken. Kosten: inclusief licenties, training, integratie met het leerbeheersysteem en de prijs na afloop van een eventuele gratis periode. Bewijs: de Every Student Succeeds Act definieert vier niveaus van bewijs: sterk (goed ontworpen gerandomiseerde onderzoeken), gematigd, veelbelovend en 'toont een grondgedachte aan'. Veel AI-producten bieden alleen niveau 4-bewijsmateriaal of casestudy's van leveranciers, dus een lokale pilot is van belang. Veel voorkomende misvattingen: dat een bekend merk compliance garandeert, dat ‘AI-aangedreven’ effectiever betekent, en dat hoge betrokkenheid bewijst dat er geleerd wordt. Tijd aan app en tevredenheidsonderzoeken zijn geen gemeten leerwinsten. In het rapport uit 2023 van het Amerikaanse ministerie van Onderwijs over AI in het onderwijs wordt de nadruk gelegd op het op de hoogte houden van mensen, een nuttige test: kunnen leraren negeren, beoordelen en uitleggen wat de tool doet?
Een district vraagt een leverancier van AI-schrijffeedback om een gegevensprivacyovereenkomst te ondertekenen waarin staat dat essays van studenten niet zullen worden gebruikt om zijn modellen te trainen, en loopt weg als de leverancier weigert.
Een curriculumteam test een AI-wiskundeleraar met 50 echte huiswerkproblemen en vindt verkeerde antwoorden op woordproblemen met meerdere stappen, dus beperkt het de tool tot het oefenen van oefeningen met beoordeling door de leraar.
Een toegankelijkheidscoördinator gebruikt een schermlezer en alleen toetsenbordnavigatie op een nieuw AI-leesplatform en ontdekt dat het chatvenster niet kan worden bereikt zonder een muis.
Een school voert een pilot van één semester uit in vier klassen met een vergelijkingsgroep, waarbij quizscores en de bespaarde tijd van docenten worden gemeten voordat wordt besloten of ze willen verlengen.
Aanbestedingen worden steeds meer gestructureerd naarmate districten, overheidsinstanties en non-profitorganisaties AI-evaluatierubrieken en gedeelde controleresultaten publiceren, wat dubbele inspanningen voor kleine scholen kan verminderen. Er zijn strengere, onafhankelijke onderzoeken gaande naar AI-docenten en feedbacktools, maar de resultaten duren jaren en kunnen variëren per onderwerp en leeftijd. Leveranciers zullen waarschijnlijk meer transparantiefuncties bieden, zoals auditlogboeken en docentencontroles. De kerndiscipline verandert niet: toets op eigen inhoud, bescherm leerlinggegevens contractueel en oordeel op basis van leerresultaten.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Het evalueren van een AI-edtech-tool betekent vóór aankoop controleren of deze accuraat is, de gegevens van studenten beschermt, werkt voor studenten met een beperking, groepen eerlijk behandelt, binnen het budget past en bewijs heeft dat het het leren verbetert. Het is van belang omdat scholen op grote schaal gereedschap kopen, en een zwak of onveilig product gevolgen heeft voor duizenden studenten en beperkte financiering verspilt.
Sterk bewijs, niveau 1, komt uit goed opgezette gerandomiseerde gecontroleerde onderzoeken. Veel AI-producten bieden alleen bewijs van niveau 4.
Als we weten of datamodellen modellen trainen en welke AI-aanbieders deze krijgen, wordt de werkelijke blootstelling aan data zichtbaar.
Een conformiteitsrapport voor WCAG 2.1 AA is een begin, maar praktijktesten kunnen hiaten opsporen, zoals chatvensters die niet bereikbaar zijn via het toetsenbord.
Studenten kunnen genieten van of tijd doorbrengen in een app zonder meer te leren, dus de resultaten moeten direct worden gemeten.
Het verwisselen of bijwerken van het basismodel kan de antwoorden veranderen, zodat een vaste testset regressies detecteert.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Medische AI-hulpmiddelen evalueren als arts
Industrieën