概述
準確度與可讀性取決於音訊、延遲以及字幕製作方式。
深入探討
自動字幕使用語音辨識。例如,Microsoft Speech 會記錄中間的「辨識中(Recognizing)」結果(隨著更多音訊被處理可能會有所變動),以及語句結束後的「已辨識(Recognized)」結果。其即時說話者識別(diarization)工作流程會使用如 Guest-1 等識別碼來標記不同的說話者;這些標籤無法驗證個人身分。CART 則使用受過訓練的人工字幕員,搭配速記機、電腦與即時軟體。字詞錯誤率(Word error rate)總結了相對於參考逐字稿的替換、刪除與插入錯誤,但無法涵蓋所有時間點、可讀性或無障礙需求。W3C 將字幕描述為語音與相關非語音音訊的同步文字,並將 WebVTT 識別為常見的網頁字幕格式。Meta 的 Ray-Ban Display 公告描述了針對配戴者語音的字幕;這是一個特定的裝置範例。
現實世界的實施
使用串流 ASR 來製作字幕草稿。
使用 CART 作為人工速記字幕的工作流程。
在現場活動中檢視說話者標籤與修訂內容。
W3C 將 WebVTT 識別為常見的網頁字幕格式;Meta 記錄了一項用於顯示定向語音字幕的裝置特定功能。
人工智慧在聾人即時字幕領域的未來
在風險較高或對準確度有要求的情況下,請使用人工字幕或進行人工審核。請遵循關於同步字幕與有意義聲音資訊的無障礙指南。
付諸實踐
為什麼這很重要
- 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
- 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
- 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。
留意
- 將損壞的流程自動化可能會加劇現有問題。
- 團隊可能會過度自動化並消除所需的人工判斷。
- 如果不持續評估輸出,品質可能會出現偏差。
後續步驟
- 繪製目前工作流程並確定摩擦最大的步驟。
- 在完全自動化之前定義人工檢查點。
- 對使用者進行提示、升級路徑和品質標準的訓練。
- 追蹤任務級結果以確認持續價值。
不斷探索
常見問題
什麼是人工智慧為聾人提供即時字幕?
即時字幕將語音轉換為同步文字,供觀眾閱讀。準確度與可讀性取決於音訊、延遲以及字幕製作方式。
什麼核心技術將即時語音轉換為螢幕文字?
ASR 將語音音訊映射到文本,是即時字幕工具的基礎。
CART 字幕與自動語音辨識字幕有何區別?
NCRA 將 CART 描述為使用速記機、電腦與即時軟體的真人字幕工作流程;這並不意味著具有普遍的準確度排名。
為什麼串流字幕中的單字會在語句定案之前改變?
Microsoft 語音文件說明瞭在處理音訊時可能會改變的中間「辨識中 (Recognizing)」結果,隨後是語句的最終「已辨識 (Recognized)」結果。其他系統可能會公開不同的介面。
通常使用什麼指標來衡量字幕準確性?
單字錯誤率對插入、刪除和替換進行計數,以量化轉錄的準確性。
語者分離功能為即時轉錄工作流程增加了什麼?
Microsoft 的即時語者分離範例會將諸如「來賓-1」和「來賓-2」等標籤指派給轉錄的語音。語者標籤並不能證明一個人的身分。