引導式測驗 · 中等 等級

Common Crawl 解析測驗

了解常見爬網存檔和索引、WARC 檢索、覆蓋範圍限制、來源以及原始爬網與衍生資料集之間的差異。

相關引導路徑Common Crawl 解析
問題 1 的 8

Common Crawl URL 索引能幫助研究人員做什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Common Crawl URL 索引能幫助研究人員做什麼?
    • 在不下載每個封存檔案的情況下,定位 URL 的封存紀錄
    • 驗證頁面是否正確且具授權
    • 測量全體網路使用者的規模
    • 判斷模型是否記住了該頁面
  2. 爬蟲快照不包含登入後的頁面。這說明了什麼?
    • 該頁面從未存在過
    • 爬蟲只能取得其程序能抓取的內容
    • 索引衡量所有網路內容
    • WARC 移除存取控制
  3. 為什麼 Common Crawl 的封存不是網路的中立普查?
    • 該封存排除了所有隨時間的變化
    • 每個網站都被同等捕捉
    • 覆蓋範圍取決於種子、連結、存取、時間與爬蟲選項
    • URL 索引衡量社群規模
  4. 哪些識別碼支援檢索記錄時的可重複性?
    • 網域的標誌顏色
    • 僅研究者的筆記型電腦型號
    • 模型的輸出文字
    • 爬蟲識別碼、索引查詢、WARC 檔名與記錄偏移量
  5. URL 索引結果對內容品質的說明是什麼?
    • 它證明該頁面準確
    • 它定位記錄但不是語意品質標籤
    • 它證明訓練的授權
    • 它保證記錄具備代表性
  6. 一篇研究論文說它使用了 Common Crawl。讀者應該檢查什麼?
    • 檔案是否足夠大
    • 僅型號名稱
    • 使用了哪個快照與處理流程
    • 論文圖表中的字型
  7. 為什麼要把原始檔案與衍生的訓練語料區分開來?
    • 團隊在檢索後會過濾、抽樣、去重並結合來源
    • 檔案自動等同於每個模型的訓練集
    • 衍生語料庫不能包含網路文字
    • 過濾總是會移除所有偏見
  8. 開放取得檔案能解決關於再利用權限的什麼問題?
    • 它證明所有個人資料已被移除
    • 它授予所有目的的使用權
    • 這表示每一頁都是公有領域
    • 它本身並不解決權利或隱私問題