Il prossimoProssima guida
Valutare gli strumenti di intelligenza artificiale medica come medico
Industrie
GUIDA alle applicazioni
Valutare uno strumento AI edtech significa verificare, prima dell’acquisto, se è accurato, protegge i dati degli studenti, funziona per gli studenti con disabilità, tratta i gruppi in modo equo, rientra nel budget e ha prove che migliora l’apprendimento.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché le scuole acquistano strumenti su larga scala e un prodotto debole o non sicuro colpisce migliaia di studenti e spreca finanziamenti limitati.
Una valida valutazione copre sei aree. Precisione: testa lo strumento sui contenuti del tuo curriculum, inclusi casi difficili e ambigui, e conta gli errori. Gli strumenti generativi possono fornire risposte errate con sicurezza, quindi chiedi come il fornitore riduce gli errori e come gli insegnanti possono vedere e correggere i risultati. Privacy e sicurezza: negli Stati Uniti, i registri degli studenti sono protetti dalla FERPA e la COPPA si applica ai servizi che raccolgono dati di bambini sotto i 13 anni; molti stati aggiungono le proprie leggi sulla privacy degli studenti. Chiedi quali dati vengono raccolti, dove vengono archiviati, per quanto tempo vengono conservati, se addestrano modelli e quali fornitori di intelligenza artificiale di terze parti li ricevono. Molti distretti utilizzano accordi sulla privacy dei dati, inclusi i modelli dello Student Data Privacy Consortium. Accessibilità: richiedi un rapporto di conformità sull'accessibilità (spesso un VPAT) rispetto alle WCAG 2.1 AA, quindi controllalo tu stesso con uno screen reader e una tastiera. Bias: controlla se lo strumento ha prestazioni peggiori per gli studenti di inglese, per gli studenti con dialetti particolari o per gli studenti con disabilità, e se il punteggio o la segnalazione automatizzata potrebbero cadere in modo non uniforme su alcuni gruppi. Costo: include licenze, formazione, integrazione con il sistema di gestione dell'apprendimento e il prezzo al termine dell'eventuale periodo gratuito. Prove: l'Every Student Succeeds Act definisce quattro livelli di prova: forte (studi randomizzati ben progettati), moderato, promettente e "dimostra una logica". Molti prodotti di intelligenza artificiale offrono solo prove di livello 4 o casi di studio dei fornitori, quindi un progetto pilota locale è importante. Idee sbagliate comuni: che un marchio noto garantisca la conformità, che "basato sull'intelligenza artificiale" significhi più efficace e che un elevato coinvolgimento dimostri l'apprendimento. Il tempo trascorso sull'app e i sondaggi sulla soddisfazione non vengono misurati come guadagni di apprendimento. Il rapporto 2023 del Dipartimento dell’Istruzione degli Stati Uniti sull’intelligenza artificiale nell’insegnamento sottolinea il mantenimento degli esseri umani nel ciclo, un test utile: gli insegnanti possono ignorare, rivedere e spiegare cosa fa lo strumento?
Un distretto chiede a un fornitore di feedback di scrittura sull'intelligenza artificiale di firmare un accordo sulla privacy dei dati in cui si afferma che i saggi degli studenti non verranno utilizzati per addestrare i suoi modelli e se ne va quando il fornitore rifiuta.
Un team del curriculum mette alla prova un tutor di matematica basato sull'intelligenza artificiale con 50 problemi reali di compiti a casa e trova risposte sbagliate su problemi di parole in più passaggi, quindi limita lo strumento agli esercizi pratici con la revisione dell'insegnante.
Un coordinatore dell'accessibilità utilizza uno screen reader e la navigazione solo tramite tastiera su una nuova piattaforma di lettura AI e scopre che la sua finestra di chat non può essere raggiunta senza il mouse.
Una scuola conduce un progetto pilota di un semestre in quattro classi con un gruppo di confronto, misurando i punteggi dei quiz e il tempo risparmiato dagli insegnanti prima di decidere se rinnovare.
Gli appalti stanno diventando più strutturati man mano che distretti, agenzie statali e organizzazioni no-profit pubblicano rubriche di valutazione dell’intelligenza artificiale e risultati di verifica condivisi, il che può ridurre gli sforzi duplicati per le piccole scuole. Sono in corso studi indipendenti più rigorosi sui tutor dell’intelligenza artificiale e sugli strumenti di feedback, ma i risultati richiedono anni e possono variare in base al soggetto e all’età. I fornitori probabilmente offriranno funzionalità di maggiore trasparenza come registri di audit e controlli degli insegnanti. La disciplina fondamentale non cambierà: testare i propri contenuti, proteggere i dati degli studenti per contratto e giudicare in base ai risultati dell'apprendimento.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Valutare uno strumento AI edtech significa verificare, prima dell’acquisto, se è accurato, protegge i dati degli studenti, funziona per gli studenti con disabilità, tratta i gruppi in modo equo, rientra nel budget e ha prove che migliora l’apprendimento. È importante perché le scuole acquistano strumenti su larga scala e un prodotto debole o non sicuro colpisce migliaia di studenti e spreca finanziamenti limitati.
Evidenze forti, livello 1, provengono da studi randomizzati e controllati ben progettati. Molti prodotti di intelligenza artificiale offrono solo prove di livello 4.
Sapere se i dati addestrano i modelli e quali fornitori di intelligenza artificiale li ottengono rivela una reale esposizione dei dati.
Un rapporto di conformità rispetto alle WCAG 2.1 AA è un inizio, ma i test pratici rilevano lacune come le finestre di chat irraggiungibili tramite tastiera.
Gli studenti possono divertirsi o trascorrere del tempo in un'app senza imparare altro, quindi i risultati devono essere misurati direttamente.
Lo scambio o l'aggiornamento del modello di base può modificare le risposte, quindi un set di test fisso rileva le regressioni.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Valutare gli strumenti di intelligenza artificiale medica come medico
Industrie