Викторина ColBERT по позднему взаимодействию

Ответы и пояснения появляются по мере прохождения теста.

1. Как ColBERT представляет запрос или документ?
   • Как один усредненный вектор внедрения
   • Поскольку учитываются только необработанные ключевые слова
   • Столько векторов контекстного внедрения на уровне токена.
   • Как изображение
2. Как называется функция оценки, которую использует ColBERT?
   • МаксСим
   • Объединение косинусов
   • Кросс-энтропия Softmax
   • Поиск луча
3. What query-time work does ColBERT avoid by precomputing document token vectors?
   • All query encoding and all index access
   • Every comparison between a query token and document token
   • The need to store document representations
   • Joint transformer encoding of every query-document pair, while query encoding and similarity search still run
4. Что означает «позднее» в «позднем взаимодействии»?
   • Модель обучается на поздних стадиях конвейера.
   • Взаимодействие между токенами запроса и документа откладывается до этапа оценки после независимого кодирования.
   • Запросы приходят поздно вечером
   • Документы добавляются после развертывания.
5. Какую проблему с одновекторным плотным поиском решает ColBERT?
   • Индексация происходит слишком медленно
   • Он не может работать на графических процессорах
   • Для каждого запроса требуются помеченные данные.
   • Сжатие всего отрывка в один вектор приводит к потере мелких деталей.
6. Что особенного улучшилось в ColBERTv2 по сравнению с оригиналом?
   • Это устранило необходимость каких-либо вложений
   • Он перешел с BERT на систему, основанную на правилах.
   • Добавлено остаточное сжатие, чтобы значительно уменьшить размер индекса.
   • Это устранило шаг MaxSim
7. A two-token ColBERT query has best document-token similarities of 0.8 and 0.3. What MaxSim score results?
   • 0.8, retaining only the single largest value across the whole query
   • 1.1, the sum of the two per-query-token maxima
   • 0.55, averaging instead of summing the maxima
   • 0.24, multiplying the two maxima
8. Why can a ColBERT document index require more storage than a single-vector dense index?
   • It retains multiple token-level representations for each document
   • It never precomputes any document features
   • It must store all transformer gradients for each document
   • It removes every document token before indexing