引導式測驗 · 中等 等級

多模式 RAG 測驗

測試您對多模式 RAG 的了解:將視覺效果添加到文字中、共享圖像文字嵌入以及 ColPali 風格的頁面螢幕截圖檢索。

相關引導路徑多模式RAG
問題 1 的 8

當純文字 RAG 管道處理充滿表格和圖表的 PDF 時,通常會出現什麼問題?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 當純文字 RAG 管道處理充滿表格和圖表的 PDF 時,通常會出現什麼問題?
    • PDF 變得太小而無法建立索引
    • 表格變得混亂,圖表值或圖表丟失
    • 嵌入變成影像
    • 模特兒拒絕回答
  2. 標題一切轉化為文字方法的主要弱點是什麼?
    • 它不能使用現有的文本嵌入
    • 它需要圖像的向量資料庫
    • 它僅適用於掃描的表格
    • 字幕作者未能描述的任何內容都會在檢索中遺失
  3. CLIP 式模型在多模式 RAG 中可以實現什麼?
    • 將圖像和文字嵌入共享向量空間中,以便文字查詢可以檢索圖像
    • 高精度讀取掃描頁面上密集的小文本
    • 儲存前壓縮 PDF
    • 將字幕翻譯成其他語言
  4. ColPali 的方法有何獨特之處?
    • 它首先使用 OCR 將每個頁面轉換為 Markdown
    • 它只索引圖像標題
    • 它使用視覺語言模型嵌入頁面螢幕截圖,並跳過 OCR 和佈局解析
    • 它為每個文檔儲存一個向量
  5. 在後期互動中,如何針對頁面進行查詢評分?
    • 將一個查詢向量與一頁向量進行比較
    • 頁面按檔案大小排名
    • 比較關鍵字數量
    • 許多查詢標記向量與許多圖像補丁向量進行比較
  6. 為什麼 ColPali 風格的索引比文字塊索引大得多?
    • 他們將原始 PDF 檔案儲存在每個向量中
    • 每個頁面的每個圖像區塊大約有一個向量,而不是單一向量
    • 他們用多種語言複製每一頁
    • 他們需要儲存每頁的完整模型權重
  7. 為什麼將頁面圖像(而不僅僅是提取的文字)傳遞給生成模型?
    • 有關圖表值或視覺佈局的問題需要模型看到視覺本身
    • 圖片永遠比文字便宜
    • 文字無法引用
    • 生成器無法讀取文字
  8. 關於多模式 RAG 在實務上的哪一種說法是準確的?
    • 它總是完全取代文字管道
    • 它僅適用於照片
    • 結合解析文字、表格擷取和頁面影像檢索的混合系統很常見
    • 不需要評價