引導式測驗 · 中等 等級

問答測驗

審查提取式和生成式 QA、外部證據、檢索基礎、答案邊界、棄權、重疊評估和釋義測試。

相關引導路徑問答
問題 1 的 8

提取式問答系統有什麼作用?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 提取式問答系統有什麼作用?
    • 選擇回答問題的段落中的確切文字範圍
    • 用自己的話寫出全新的答案
    • 將問題翻譯成另一種語言
    • 按受歡迎程度對網頁進行排名
  2. 封閉書本式問答(closed-book QA)與開放書本式問答(open-book QA)情境之間,有什麼證據存取上的區別?
    • 開放書本式系統被禁止閱讀文件
    • 封閉書本式系統必須總是更準確
    • 封閉書本式使用模型參數而不進行外部查找;開放書本式可以使用提供或檢索到的文件
    • 開放書本式系統不能包含語言模型
  3. 檢索增強生成(retrieval-augmented generation)如何支援問答回答?
    • 透過保證每一段檢索到的段落都是正確的
    • 透過消除對任何段落進行解釋的需求
    • 透過自動證明每一個輸出的主張為真
    • 透過提供檢索到的段落作為生成的證據
  4. 當選擇答案區間時,抽取式問答頭(extractive QA head)可以產生哪些邊界分數?
    • 僅有法語輸出的翻譯分數
    • 可能的答案開始與結束位置的分數
    • 僅有語法上的名詞或動詞標籤
    • 僅有每個單字的字母排序
  5. 當文章缺乏答案時,設計良好的問答系統的標誌是什麼?
    • 無論如何,它發明了一個聽起來合理的答案
    • 它傳回整個段落
    • 它認識到這個問題無法回答並這樣說
    • 它崩潰了
  6. 生成式問答與要求抽取式來源區間有何不同?
    • 它產生答案文本,而不是要求從段落中提取精確的區間
    • 它在每個任務中都被限制為一個「是」或「否」的標籤
    • 它從不輸出任何存在於來源中的單字
    • 它必須僅輸出一個標示出的段落邊界
  7. 在 SQuAD 風格的問答評估中,Token 重疊 F1 分數能提供什麼是單純「精確匹配」(exact match)所無法提供的?
    • 證明每一個聲稱的事實都是真實的
    • 為與參考答案重疊的單字提供部分分數
    • 保證沒有答案是被複製的
    • 伺服器的測量功耗
  8. 為什麼要在保留原意的改寫問題上評估 QA 系統?
    • 為了確保每個新改寫都有不同的答案
    • 為了從每次評估中移除所有段落證據
    • 為了以檔名長度取代答案品質
    • 為了測試對問題措辭變化的敏感度