Kvíz spojený s průvodcem · Střední úroveň

ColBERT Kvíz o pozdní interakci

Testujte vektory tokenů ColBERT, nezávislé kódování, hodnocení MaxSim, práci s dotazem a náklady na úložiště, které řeší komprese ColBERTv2.

Otázka 1 z 8

Jak ColBERT představuje dotaz nebo dokument?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jak ColBERT představuje dotaz nebo dokument?
    • Jako jeden zprůměrovaný vektor pro vkládání
    • Jako nezpracované klíčové slovo se počítá pouze
    • Stejně jako mnoho vektorů kontextového vkládání na úrovni tokenu
    • Jako obrázek
  2. Jak se nazývá skórovací funkce, kterou ColBERT používá?
    • MaxSim
    • Sdružování kosinu
    • Křížová entropie Softmax
    • Hledání paprskem
  3. What query-time work does ColBERT avoid by precomputing document token vectors?
    • All query encoding and all index access
    • Every comparison between a query token and document token
    • The need to store document representations
    • Joint transformer encoding of every query-document pair, while query encoding and similarity search still run
  4. Co znamená „pozdní“ v „pozdní interakci“?
    • Model je trénován pozdě v procesu
    • Interakce mezi tokeny dotazu a dokumentu je po nezávislém kódování odložena na bod hodnocení
    • Dotazy přicházejí pozdě v noci
    • Dokumenty jsou přidány po nasazení
  5. Jaký problém s jednovektorovým hustým vyhledáváním řeší ColBERT?
    • Indexování je příliš pomalé
    • Nemůže běžet na GPU
    • Vyžaduje označená data pro každý dotaz
    • Komprimací celé pasáže do jednoho vektoru se ztratí jemné detaily
  6. Co ColBERTv2 výrazně zlepšil oproti originálu?
    • To odstranilo potřebu jakýchkoliv vložení
    • Přešlo z BERT na systém založený na pravidlech
    • Přidal zbytkovou kompresi, aby se výrazně zmenšila velikost indexu
    • Eliminoval krok MaxSim
  7. A two-token ColBERT query has best document-token similarities of 0.8 and 0.3. What MaxSim score results?
    • 0.8, retaining only the single largest value across the whole query
    • 1.1, the sum of the two per-query-token maxima
    • 0.55, averaging instead of summing the maxima
    • 0.24, multiplying the two maxima
  8. Why can a ColBERT document index require more storage than a single-vector dense index?
    • It retains multiple token-level representations for each document
    • It never precomputes any document features
    • It must store all transformer gradients for each document
    • It removes every document token before indexing