概述
分數是特定評估表現的證據,而不是對學生的完整描述,因此教育工作者應在採取行動之前驗證模式並保護可識別的記錄。
深入探討
評估數據可以幫助教育工作者監控學習情況、審查教學內容並決定下一步教什麼。人工智慧工具可以總結分數、按技能對問題進行分組、識別重複出現的錯誤答案或起草後續問題。這些輸出的可靠性取決於所提供的評估、資料結構和提示。模糊的問題、難以理解的格式或教材與評估之間的不匹配都可能產生一種並非學生誤解的模式。首先了解每個項目衡量的內容、評分方式以及評估是用於形成性用途還是總結性用途。項目層級分析可以揭示困難的問題或吸引許多回答的干擾因素,但它不會自動解釋為什麼學生會這樣回答。查看學生作業樣本並詢問該項目是否清晰且與教學相符。將缺失值和調節視為解釋的一部分,而不是零分。使用結果產生教學假設:重新教導概念,提供額外的練習,或要求學生解釋他們的推理。避免根據一個分數給學生貼標籤,或允許人工智慧總結做出安置、評分、紀律或殘疾決定。在評估、觀察和學生作業中尋找重複的證據,並讓了解課堂的教育工作者參與其中。保護學生記錄。使用學校或學區批准的工具,盡量減少可識別數據,並檢查是否保留或分享提示、文件和產生的報告。當小群體、罕見特徵或自由文本評論使學生易於識別時,去識別化可能會失敗。遵守當地政策和適用的隱私權要求。記錄分析了哪些評估和版本、分數如何分組以及工具產生了什麼。根據來源系統驗證所有計算。目的是支持教育者探究和教學改進,而不是將自動模式檢測視為學生學習的完整記錄。
現實世界的實施
教師使用匿名的項目級結果來識別許多學生錯過的問題,並檢查措辭或教學是否可以解釋該模式。
年級團隊會比較不同技能的結果,並在審查學生作業和課堂環境後規劃重新教學活動。
教育工作者要求使用經過批准的工具來匯總去識別化的分數表,然後根據來源系統驗證每個計數。
學校在解釋小分數差異之前會檢查子組比較是否有足夠的數據和背景。
人工智慧分析學生評估數據的未來
評估工具可能會越來越多地將專案分析與課程地圖和建議的教學材料連結起來。更好的可解釋性可以幫助教育工作者將摘要追溯到回應。自動化洞察仍然需要人工檢查評估品質、學生背景和隱私。學校應該評估工具是否可以改善教學決策,並避免將分數變成固定標籤。學校可以評估摘要是否會隨著時間的推移改善教學決策。新工具在與可識別記錄一起使用之前,應檢查其資料處理和輸出準確性。
付諸實踐
為什麼這很重要
- 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
- 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
- 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。
留意
- 將損壞的流程自動化可能會加劇現有問題。
- 團隊可能會過度自動化並消除所需的人工判斷。
- 如果不持續評估輸出,品質可能會出現偏差。
後續步驟
- 繪製目前工作流程並確定摩擦最大的步驟。
- 在完全自動化之前定義人工檢查點。
- 對使用者進行提示、升級路徑和品質標準的訓練。
- 追蹤任務級結果以確認持續價值。
不斷探索
常見問題
什麼是用於分析學生評估數據的人工智慧?
人工智慧可以幫助教育工作者總結評估結果、檢查專案模式並產生後續教學問題。分數是特定評估表現的證據,而不是對學生的完整描述,因此教育工作者應在採取行動之前驗證模式並保護可識別的記錄。
人工智慧可以利用去識別化的評估結果做什麼?
人工智慧可以幫助總結模式,但教育工作者必須驗證和解釋它們。
為什麼要複習許多學生在斷定自己缺乏技能之前錯過的專案?
響應模式可以反映項目或評估上下文,而不是預期的概念。
評估值缺失應如何處理?
遺漏可能有多種原因,應與錯誤答案區分開來。
專案分析可以總結出什麼?
這些是描述性的項目級統計數據,仍然需要解釋。
為什麼基於非常小的群體的亞組比較會產生誤導?
小樣本增加了不確定性和重新識別風險。