即時語音代理

他們必須協調聆聽、回應生成、語音播放及工具結果。快速對話不應以部分輸入行動或在未驗證前聲稱操作成功為代價。

重點摘要

• 對於後續行動，請使用穩定的詮釋。
• 測量完整的音訊和刀具路徑。
• 明確追蹤取消和外部狀態。

將音訊迴圈與相關狀態變化區分開來。隨著更多語音到來，部分逐字稿可能會改變。在影響紀錄、帳戶或他人的行動前，使用穩定的解釋與適當的確認。測量端到端延遲，包括端點偵測、識別、檢索、工具執行及音訊播放。若其他階段主導，模型回應時間短並不代表對話延遲會低。處理整個流程的中斷與取消。停止語音播放不一定會取消已派遣的工具操作。明確追蹤行動狀態，並在重試前調和不確定結果。測試不利條件：靜音、講者重疊、連線中斷、名稱模糊及工具結果延遲。當任務無法完成時，提供可用的切換與誠實狀態。依照實際存取與保留政策保護錄音與逐字稿。

1. 想像一位語音客服開始更新預約，而使用者卻說「停止」。
2. 停止播放並檢查動作狀態。如果更新已經完成，說明並使用適當的修正流程。
3. 不要因為音訊停止就聲稱取消，也不要在重新連線後未檢查紀錄就重複該動作。

假設情境測試對話與實際副作用之間的關係。