引導式測驗 · 中等 等級
問答測驗
審查提取式和生成式 QA、外部證據、檢索基礎、答案邊界、棄權、重疊評估和釋義測試。
問題 1 的 8
提取式問答系統有什麼作用?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 提取式問答系統有什麼作用?
- 選擇回答問題的段落中的確切文字範圍
- 用自己的話寫出全新的答案
- 將問題翻譯成另一種語言
- 按受歡迎程度對網頁進行排名
- 封閉書本式問答(closed-book QA)與開放書本式問答(open-book QA)情境之間,有什麼證據存取上的區別?
- 開放書本式系統被禁止閱讀文件
- 封閉書本式系統必須總是更準確
- 封閉書本式使用模型參數而不進行外部查找;開放書本式可以使用提供或檢索到的文件
- 開放書本式系統不能包含語言模型
- 檢索增強生成(retrieval-augmented generation)如何支援問答回答?
- 透過保證每一段檢索到的段落都是正確的
- 透過消除對任何段落進行解釋的需求
- 透過自動證明每一個輸出的主張為真
- 透過提供檢索到的段落作為生成的證據
- 當選擇答案區間時,抽取式問答頭(extractive QA head)可以產生哪些邊界分數?
- 僅有法語輸出的翻譯分數
- 可能的答案開始與結束位置的分數
- 僅有語法上的名詞或動詞標籤
- 僅有每個單字的字母排序
- 當文章缺乏答案時,設計良好的問答系統的標誌是什麼?
- 無論如何,它發明了一個聽起來合理的答案
- 它傳回整個段落
- 它認識到這個問題無法回答並這樣說
- 它崩潰了
- 生成式問答與要求抽取式來源區間有何不同?
- 它產生答案文本,而不是要求從段落中提取精確的區間
- 它在每個任務中都被限制為一個「是」或「否」的標籤
- 它從不輸出任何存在於來源中的單字
- 它必須僅輸出一個標示出的段落邊界
- 在 SQuAD 風格的問答評估中,Token 重疊 F1 分數能提供什麼是單純「精確匹配」(exact match)所無法提供的?
- 證明每一個聲稱的事實都是真實的
- 為與參考答案重疊的單字提供部分分數
- 保證沒有答案是被複製的
- 伺服器的測量功耗
- 為什麼要在保留原意的改寫問題上評估 QA 系統?
- 為了確保每個新改寫都有不同的答案
- 為了從每次評估中移除所有段落證據
- 為了以檔名長度取代答案品質
- 為了測試對問題措辭變化的敏感度