Il prossimoProssima guida
Valutare gli strumenti di intelligenza artificiale medica come medico
Industrie
GUIDA alle applicazioni
Valutare uno strumento AI edtech significa verificare, prima dell’acquisto, se è accurato, protegge i dati degli studenti, funziona per gli studenti con disabilità, tratta i gruppi in modo equo, rientra nel budget e ha prove che migliora l’apprendimento.
È importante perché le scuole acquistano strumenti su larga scala e un prodotto debole o non sicuro colpisce migliaia di studenti e spreca finanziamenti limitati.
Una valida valutazione copre sei aree. Precisione: testa lo strumento sui contenuti del tuo curriculum, inclusi casi difficili e ambigui, e conta gli errori. Gli strumenti generativi possono fornire risposte errate con sicurezza, quindi chiedi come il fornitore riduce gli errori e come gli insegnanti possono vedere e correggere i risultati. Privacy e sicurezza: negli Stati Uniti, i registri degli studenti sono protetti dalla FERPA e la COPPA si applica ai servizi che raccolgono dati di bambini sotto i 13 anni; molti stati aggiungono le proprie leggi sulla privacy degli studenti. Chiedi quali dati vengono raccolti, dove vengono archiviati, per quanto tempo vengono conservati, se addestrano modelli e quali fornitori di intelligenza artificiale di terze parti li ricevono. Molti distretti utilizzano accordi sulla privacy dei dati, inclusi i modelli dello Student Data Privacy Consortium. Accessibilità: richiedi un rapporto di conformità sull'accessibilità (spesso un VPAT) rispetto alle WCAG 2.1 AA, quindi controllalo tu stesso con uno screen reader e una tastiera. Bias: controlla se lo strumento ha prestazioni peggiori per gli studenti di inglese, per gli studenti con dialetti particolari o per gli studenti con disabilità, e se il punteggio o la segnalazione automatizzata potrebbero cadere in modo non uniforme su alcuni gruppi. Costo: include licenze, formazione, integrazione con il sistema di gestione dell'apprendimento e il prezzo al termine dell'eventuale periodo gratuito. Prove: l'Every Student Succeeds Act definisce quattro livelli di prova: forte (studi randomizzati ben progettati), moderato, promettente e "dimostra una logica". Molti prodotti di intelligenza artificiale offrono solo prove di livello 4 o casi di studio dei fornitori, quindi un progetto pilota locale è importante. Idee sbagliate comuni: che un marchio noto garantisca la conformità, che "basato sull'intelligenza artificiale" significhi più efficace e che un elevato coinvolgimento dimostri l'apprendimento. Il tempo trascorso sull'app e i sondaggi sulla soddisfazione non vengono misurati come guadagni di apprendimento. Il rapporto 2023 del Dipartimento dell’Istruzione degli Stati Uniti sull’intelligenza artificiale nell’insegnamento sottolinea il mantenimento degli esseri umani nel ciclo, un test utile: gli insegnanti possono ignorare, rivedere e spiegare cosa fa lo strumento?
La progettazione a livello di applicazione determina se l’intelligenza artificiale migliora i risultati reali.
Una buona integrazione del flusso di lavoro crea guadagni di produttività di cui gli utenti possono fidarsi.
I casi d'uso ben definiti riducono l'affaticamento dovuto al cambiamento e il rischio di implementazione.
Gli appalti stanno diventando più strutturati man mano che distretti, agenzie statali e organizzazioni no-profit pubblicano rubriche di valutazione dell’intelligenza artificiale e risultati di verifica condivisi, il che può ridurre gli sforzi duplicati per le piccole scuole. Sono in corso studi indipendenti più rigorosi sui tutor dell’intelligenza artificiale e sugli strumenti di feedback, ma i risultati richiedono anni e possono variare in base al soggetto e all’età. I fornitori probabilmente offriranno funzionalità di maggiore trasparenza come registri di audit e controlli degli insegnanti. La disciplina fondamentale non cambierà: testare i propri contenuti, proteggere i dati degli studenti per contratto e giudicare in base ai risultati dell'apprendimento.
Un distretto chiede a un fornitore di feedback di scrittura sull'intelligenza artificiale di firmare un accordo sulla privacy dei dati in cui si afferma che i saggi degli studenti non verranno utilizzati per addestrare i suoi modelli e se ne va quando il fornitore rifiuta.
Un team del curriculum mette alla prova un tutor di matematica basato sull'intelligenza artificiale con 50 problemi reali di compiti a casa e trova risposte sbagliate su problemi di parole in più passaggi, quindi limita lo strumento agli esercizi pratici con la revisione dell'insegnante.
Un coordinatore dell'accessibilità utilizza uno screen reader e la navigazione solo tramite tastiera su una nuova piattaforma di lettura AI e scopre che la sua finestra di chat non può essere raggiunta senza il mouse.
Una scuola conduce un progetto pilota di un semestre in quattro classi con un gruppo di confronto, misurando i punteggi dei quiz e il tempo risparmiato dagli insegnanti prima di decidere se rinnovare.
Automatizzare un processo interrotto può amplificare i problemi esistenti.
I team potrebbero automatizzare eccessivamente e rimuovere il necessario giudizio umano.
La qualità può variare se i risultati non vengono valutati continuamente.
Mappa il flusso di lavoro corrente e identifica la fase di maggiore attrito.
Definisci checkpoint umani prima dell'automazione completa.
Formare gli utenti su prompt, percorsi di escalation e standard di qualità.
Tieni traccia dei risultati a livello di attività per confermare il valore duraturo.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Valutare uno strumento AI edtech significa verificare, prima dell’acquisto, se è accurato, protegge i dati degli studenti, funziona per gli studenti con disabilità, tratta i gruppi in modo equo, rientra nel budget e ha prove che migliora l’apprendimento. È importante perché le scuole acquistano strumenti su larga scala e un prodotto debole o non sicuro colpisce migliaia di studenti e spreca finanziamenti limitati.
Evidenze forti, livello 1, provengono da studi randomizzati e controllati ben progettati. Molti prodotti di intelligenza artificiale offrono solo prove di livello 4.
Sapere se i dati addestrano i modelli e quali fornitori di intelligenza artificiale li ottengono rivela una reale esposizione dei dati.
Un rapporto di conformità rispetto alle WCAG 2.1 AA è un inizio, ma i test pratici rilevano lacune come le finestre di chat irraggiungibili tramite tastiera.
Gli studenti possono divertirsi o trascorrere del tempo in un'app senza imparare altro, quindi i risultati devono essere misurati direttamente.
Lo scambio o l'aggiornamento del modello di base può modificare le risposte, quindi un set di test fisso rileva le regressioni.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Valutare gli strumenti di intelligenza artificiale medica come medico
Industrie