Викторина PagedAttention и vLLM

Ответы и пояснения появляются по мере прохождения теста.

1. Что хранит «кэш KV» во время генерации текста?
   • Данные обучения модели
   • Учетные данные пользователя для входа
   • Векторы ключей и значений для прошлых токенов, чтобы новые токены могли их использовать.
   • Сжатая копия весов модели.
2. Какая концепция операционной системы вдохновила PagedAttention?
   • Инструменты дефрагментации диска
   • Подкачка виртуальной памяти
   • Сжатие файлов
   • Прогнозирование ветвей ЦП
3. Какую проблему с традиционным распределением кэша KV решает PagedAttention?
   • Медленное подключение к Интернету
   • Недостаток данных для обучения
   • Слабая безопасность пароля
   • Потеря памяти из-за резервирования больших смежных блоков для каждого запроса.
4. Как PagedAttention позволяет нескольким выводам совместно использовать память для общего приглашения?
   • Различные последовательности указывают на одни и те же физические страницы посредством копирования при записи.
   • Удаляет подсказку после первого использования
   • Он сохраняет приглашение на диске
   • Он переобучает модель для каждого результата.
5. Где изначально были разработаны vLLM и PagedAttention?
   • Академическая лаборатория 1990-х годов
   • Калифорнийский университет в Беркли (опубликовано в 2023 г.)
   • Маркетинговая команда поставщика оборудования
   • Анонимный онлайн-форум
6. Какова основная практическая польза vLLM для тех, кто работает по программе LLM?
   • Более высокая точность модели в тестах
   • Автоматическая маркировка данных
   • Бесплатное оборудование графического процессора
   • Более высокая пропускная способность и больше одновременных запросов на каждый графический процессор
7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
   • The sequence’s block table mapping logical blocks to physical blocks
   • The model’s class-label list
   • The learning-rate scheduler
   • A requirement that every block follow block 2 contiguously
8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
   • Paging guarantees every allocated byte contains a token
   • The entire model must be copied for each unused slot
   • Unused slots can remain in that final block despite reduced allocation fragmentation
   • The block table cannot represent a partial sequence