引導式測驗 · 硬 等級

微調耳語測驗

使用對齊的音訊文字對、乾淨的說話者分割、模型大小權衡和針對遺忘的穩健評估來規劃 Whisper 適應。

相關引導路徑微調耳語
問題 1 的 8

Whisper 的監督微調期間發生了哪些變化?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Whisper 的監督微調期間發生了哪些變化?
    • 推理後僅編輯解碼的轉錄本
    • 只改變語言標籤,無需訓練
    • 使用配對的音訊和文字範例更新模型權重
    • 僅將靜態拼字清單附加到輸出中
  2. 為什麼音訊和轉錄片段必須對齊?
    • 對齊保證每個段使用相同的 GPU 內存
    • 未對齊的文字會告訴模型錯誤的語音到文字映射
    • 如果成績單包含領域詞彙,對齊錯誤是無害的
    • 正確的時間安排保證了每個轉錄單字都是準確的
  3. 當每位演講者貢獻許多錄音時,為了評估看不見的演講者的表現,資料應該進行分區?
    • 隨機分割每個揚聲器的重疊窗口
    • 將每個揚聲器放置在每個分區中
    • 僅在訓練期間使用測試揚聲器
    • 在建立訓練、驗證和測試分組之前按發言者分組
  4. 微調期間保留的驗證集支援什麼?
    • 檢查點和超參數決策
    • 無限調音,然後在同一組上獲得公正的最終分數
    • 使用每個保留的標籤進行梯度更新
    • 保證最終部署分佈不變
  5. 兩個字錯誤率報告有何不同?
    • 僅模型參數的數量
    • 僅在訓練集上觀察到的損失
    • 文本規範化和標記化約定
    • 僅兩個系統是否使用相同的分詞器名稱
  6. 為什麼要在適應狹窄領域的同時監控一般領域集?
    • 一般數據總是會降低目標精度
    • 目標適應會降低其訓練分佈以外的表現
    • 測試集應該用於梯度更新
    • 模型尺寸自動改變
  7. 當所選實作支援低階適配器時,它們可以提供什麼?
    • 保證每個網域的 WER 較低
    • 自動更正標記錯誤的轉錄本
    • 保證一般域行為不會改變
    • 適應期間可訓練參數較少
  8. 為什麼將微調與解碼調整或領域術語支援進行比較?
    • 當更簡單的更改可以解決問題時,培訓可能會增加成本
    • 解碼選擇總是會改變模型權重
    • 微調不會影響詞彙行為
    • 基線使得測試標籤變得不必要