Kvíz spojený s průvodcem · Střední úroveň

Multimodální RAG kvíz

Otestujte si, co víte o multimodálním RAG: titulkování vizuálů do textu, sdílené vkládání obrázků a textu a získávání snímků stránky ve stylu ColPali.

Související vodicí cestyMultimodální RAG
Otázka 1 z 8

Co se obvykle pokazí, když pouze textový kanál RAG zpracovává PDF plný tabulek a grafů?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co se obvykle pokazí, když pouze textový kanál RAG zpracovává PDF plný tabulek a grafů?
    • PDF se stane příliš malým na indexování
    • Tabulky se zpřehází a ztratí se hodnoty grafu nebo diagramy
    • Z vložení se stanou obrázky
    • Modelka odmítá odpovědět
  2. Jaká je hlavní slabina přístupu titulků-všechno-do textu?
    • Nemůže použít existující vložení textu
    • Vyžaduje vektorovou databázi obrázků
    • Funguje pouze u naskenovaných formulářů
    • Cokoli, co tvůrce nepopíše, je ztraceno, aby bylo možné jej vyhledat
  3. Co umožňují modely ve stylu CLIP v multimodálním RAG?
    • Vkládání obrázků a textu do sdíleného vektorového prostoru, aby textové dotazy mohly načítat obrázky
    • Čtení hustého malého textu na naskenovaných stránkách s vysokou přesností
    • Komprese PDF před uložením
    • Překlad titulků do jiných jazyků
  4. Co je na přístupu ColPali charakteristické?
    • Nejprve převede každou stránku na Markdown pomocí OCR
    • Indexuje pouze popisky obrázků
    • Vkládá snímky obrazovky stránky s modelem jazyka vidění a přeskakuje OCR a analýzu rozložení
    • Ukládá jeden vektor na dokument
  5. Jak se při pozdní interakci hodnotí dotaz na stránce?
    • Jeden vektor dotazu je porovnán s jedním vektorem stránky
    • Stránky jsou seřazeny podle velikosti souboru
    • Porovnávají se počty klíčových slov
    • Mnoho vektorů dotazových tokenů je porovnáváno s mnoha vektory obrazových oprav
  6. Proč jsou indexy ve stylu ColPali mnohem větší než indexy textových bloků?
    • Ukládají původní soubory PDF uvnitř každého vektoru
    • Každá stránka dostane zhruba jeden vektor na obrázek místo jednoho vektoru
    • Duplikují každou stránku v několika jazycích
    • Vyžadují uložení úplných hmotností modelu na stránku
  7. Proč předávat generujícímu modelu obrázek stránky, nejen extrahovaný text?
    • Otázky týkající se hodnot grafu nebo vizuálního rozvržení vyžadují, aby model viděl samotný vizuál
    • Obrázky jsou vždy levnější než text
    • Text nelze citovat
    • Generátory neumí číst text
  8. Které tvrzení o multimodálním RAG v praxi je přesné?
    • Vždy zcela nahradí textové kanály
    • Funguje pouze na fotografiích
    • Běžné jsou hybridní systémy kombinující analyzovaný text, extrakci tabulek a načítání obrázků stránek
    • Nevyžaduje žádné hodnocení