Викторина, связанная с руководством · Средний Уровень

Мультимодальная викторина RAG

Проверьте, что вы знаете о мультимодальном RAG: добавлении подписей к визуальным элементам в текст, встраивании общего изображения в текст и извлечении снимков экрана страницы в стиле ColPali.

Связанные направляющие путиМультимодальная РАГ
Вопрос 1 из 8

Что обычно идет не так, когда текстовый конвейер RAG обрабатывает PDF-файл, полный таблиц и диаграмм?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что обычно идет не так, когда текстовый конвейер RAG обрабатывает PDF-файл, полный таблиц и диаграмм?
    • The PDF becomes too small to index
    • Tables become jumbled and chart values or diagrams are lost
    • The embeddings become images
    • The model refuses to answer
  2. В чем основная слабость подхода «подпись всего в тексте»?
    • It cannot use existing text embeddings
    • It requires a vector database for images
    • It only works for scanned forms
    • Anything the captioner fails to describe is lost to retrieval
  3. Что модели в стиле CLIP делают возможными в мультимодальной RAG?
    • Embedding images and text in a shared vector space so text queries can retrieve images
    • Reading dense small text on scanned pages with high accuracy
    • Compressing PDFs before storage
    • Translating captions into other languages
  4. В чем особенность подхода ColPali?
    • It converts every page to Markdown with OCR first
    • It only indexes image captions
    • It embeds page screenshots with a vision-language model and skips OCR and layout parsing
    • It stores one vector per document
  5. Как при позднем взаимодействии оценивается запрос на странице?
    • One query vector is compared with one page vector
    • Pages are ranked by file size
    • Keyword counts are compared
    • Many query-token vectors are compared with many image-patch vectors
  6. Why are ColPali-style indexes much larger than text-chunk indexes?
    • They store the original PDF files inside each vector
    • Each page gets roughly one vector per image patch instead of a single vector
    • They duplicate every page in several languages
    • They require storing the full model weights per page
  7. Why pass the page image, not only extracted text, to the generating model?
    • Questions about chart values or visual layout need the model to see the visual itself
    • Images are always cheaper than text
    • Text cannot be cited
    • Generators cannot read text
  8. Which statement about multimodal RAG in practice is accurate?
    • It always replaces text pipelines entirely
    • It only works on photographs
    • Hybrid systems combining parsed text, table extraction and page-image retrieval are common
    • It requires no evaluation