人工智慧故障模式

例如，無根據的主張、漏接案例、資料外洩、不安全的工具操作，以及在變更輸入下失效。分類失效模式有助於團隊測試並解決原因，而非將每個錯誤視為同一問題。

重點摘要

• 精確描述觸發點和後果。
• 模型、資料和工作流程失敗分開處理。
• 將緩解措施與觀察到的原因相匹配。

從預期行為及其界限開始。錯誤類別、虛構引用及重複付款請求需不同回應。記錄觸發條件、觀察結果、受影響元件及每次失敗的實際後果。區分模型錯誤與系統錯誤。模型可能正確解讀請求，但工具卻使用錯誤帳號執行，過時文件提供過時政策，或重試重複完成操作。當輸出可能改變外部狀態時，端對端驗證至關重要。分別測試普通變異性與故意誤用。格式變更、方言、遺失資料、冗長文件及衝突指令可暴露弱點，無需對手介入。安全測試會增加攻擊者試圖重定向行為或存取資訊的情況。選擇與原因相符的控制：輸入合約、證據檢查、權限限制、交易識別碼、棄權或人工審查。保留失敗案例進行迴歸測試，並記錄殘餘不確定性。僅僅捕捉一個例子的緩解措施，不應被描述為消除整類失敗。

1. 想像一個助理說檔案在儲存工具逾時後被儲存。
2. 檢查目的地以判斷檔案是否存在，以及其內容是否與請求相符。
3. 若結果未知，請回報該狀態並使用安全的對帳步驟再嘗試。將逾時案例加入迴歸套件。

這個假設例子測試的是可觀察的完成度，而非助理對完成度的描述。