Quiz dotyczący odzyskiwania późnej interakcji ColBERT

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. W jaki sposób ColBERT reprezentuje zapytanie lub dokument?
   • Jako pojedynczy uśredniony wektor osadzania
   • Liczy się tylko surowe słowo kluczowe
   • Tyle samo kontekstowych wektorów osadzania na poziomie tokenu
   • Jako obraz
2. Jak nazywa się funkcja punktacji, której używa ColBERT?
   • MaxSim
   • Łączenie cosinusów
   • Entropia krzyżowa Softmax
   • Wyszukiwanie wiązki
3. What query-time work does ColBERT avoid by precomputing document token vectors?
   • All query encoding and all index access
   • Every comparison between a query token and document token
   • The need to store document representations
   • Joint transformer encoding of every query-document pair, while query encoding and similarity search still run
4. Do czego odnosi się określenie „późna” w „późnej interakcji”?
   • Model jest szkolony na późnym etapie potoku
   • Interakcja między tokenami zapytania i dokumentu jest odraczana do etapu oceniania po niezależnym kodowaniu
   • Zapytania przychodzą późno w nocy
   • Dokumenty dodawane są po wdrożeniu
5. Jaki problem z gęstym wyszukiwaniem jednowektorowym rozwiązuje ColBERT?
   • Indeksowanie jest zbyt wolne
   • Nie może działać na procesorach graficznych
   • Wymaga oznaczonych danych dla każdego zapytania
   • Kompresja całego przejścia do jednego wektora powoduje utratę drobnych szczegółów
6. Co ColBERTv2 znacząco poprawił w stosunku do oryginału?
   • Usunęło to potrzebę jakiegokolwiek osadzania
   • Przeszło z BERT na system oparty na regułach
   • Dodano kompresję resztkową, aby znacznie zmniejszyć rozmiar indeksu
   • Wyeliminowało to krok MaxSim
7. A two-token ColBERT query has best document-token similarities of 0.8 and 0.3. What MaxSim score results?
   • 0.8, retaining only the single largest value across the whole query
   • 1.1, the sum of the two per-query-token maxima
   • 0.55, averaging instead of summing the maxima
   • 0.24, multiplying the two maxima
8. Why can a ColBERT document index require more storage than a single-vector dense index?
   • It retains multiple token-level representations for each document
   • It never precomputes any document features
   • It must store all transformer gradients for each document
   • It removes every document token before indexing