Quiz połączony z przewodnikiem · Średni Poziom

Multimodalny quiz RAG

Sprawdź, co wiesz o multimodalnym RAG: dodawanie napisów do wizualizacji w tekście, współdzielone osadzanie obrazu i tekstu oraz pobieranie zrzutów ekranu w stylu ColPali.

Powiązane ścieżki prowadząceMultimodalny RAG
Pytanie 1 z 8

Co zazwyczaj dzieje się nie tak, gdy potok RAG zawierający wyłącznie tekst przetwarza plik PDF pełen tabel i wykresów?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co zazwyczaj dzieje się nie tak, gdy potok RAG zawierający wyłącznie tekst przetwarza plik PDF pełen tabel i wykresów?
    • The PDF becomes too small to index
    • Tables become jumbled and chart values or diagrams are lost
    • The embeddings become images
    • The model refuses to answer
  2. Jaka jest główna słabość podejścia polegającego na zamianie wszystkiego na tekst?
    • It cannot use existing text embeddings
    • It requires a vector database for images
    • It only works for scanned forms
    • Anything the captioner fails to describe is lost to retrieval
  3. Co umożliwiają modele w stylu CLIP w multimodalnym RAG?
    • Embedding images and text in a shared vector space so text queries can retrieve images
    • Reading dense small text on scanned pages with high accuracy
    • Compressing PDFs before storage
    • Translating captions into other languages
  4. Co wyróżnia podejście ColPali?
    • It converts every page to Markdown with OCR first
    • It only indexes image captions
    • It embeds page screenshots with a vision-language model and skips OCR and layout parsing
    • It stores one vector per document
  5. W jaki sposób zapytanie jest oceniane w odniesieniu do strony w przypadku późnej interakcji?
    • One query vector is compared with one page vector
    • Pages are ranked by file size
    • Keyword counts are compared
    • Many query-token vectors are compared with many image-patch vectors
  6. Why are ColPali-style indexes much larger than text-chunk indexes?
    • They store the original PDF files inside each vector
    • Each page gets roughly one vector per image patch instead of a single vector
    • They duplicate every page in several languages
    • They require storing the full model weights per page
  7. Why pass the page image, not only extracted text, to the generating model?
    • Questions about chart values or visual layout need the model to see the visual itself
    • Images are always cheaper than text
    • Text cannot be cited
    • Generators cannot read text
  8. Which statement about multimodal RAG in practice is accurate?
    • It always replaces text pipelines entirely
    • It only works on photographs
    • Hybrid systems combining parsed text, table extraction and page-image retrieval are common
    • It requires no evaluation