Вікторина, пов’язана з посібником · важко Рівень

Вікторина PagedAttention і vLLM

Перевірте блоки PagedAttention KV, логічне відображення у фізичне та спільний доступ, включаючи відмінність між збереженням кеш-пам’яті та загальним сховищем моделі.

Пов'язані напрямні шляхиPagedattention І Vllm
Питання 1 з 8

Що зберігає «кеш KV» під час генерації тексту?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що зберігає «кеш KV» під час генерації тексту?
    • Навчальні дані моделі
    • Облікові дані користувача для входу
    • Вектори ключів і значень для минулих токенів, щоб нові токени могли їх використовувати
    • Стиснута копія ваги моделі
  2. Яка концепція операційної системи надихнула PagedAttention?
    • Інструменти дефрагментації диска
    • Підкачка віртуальної пам'яті
    • Стиснення файлів
    • Прогноз розгалуження ЦП
  3. Яку проблему з традиційним розподілом кешу KV вирішує PagedAttention?
    • Повільне підключення до Інтернету
    • Відсутність даних про навчання
    • Слабкий захист пароля
    • Витрата пам’яті через резервування великих суміжних блоків для кожного запиту
  4. Як PagedAttention дозволяє кільком виходам спільно використовувати пам’ять для спільного запиту?
    • Різні послідовності вказують на ті самі фізичні сторінки за допомогою копіювання під запис
    • Він видаляє підказку після першого використання
    • Він зберігає підказку на диску
    • Він перенавчає модель для кожного виходу
  5. Де спочатку були розроблені vLLM і PagedAttention?
    • Академічна лабораторія 1990-х років
    • UC Berkeley (опубліковано 2023)
    • Команда маркетингу постачальника обладнання
    • Анонімний онлайн-форум
  6. Яка основна практична перевага vLLM для тих, хто обслуговує LLM?
    • Вища точність моделі на тестах
    • Автоматичне маркування даних
    • Безкоштовне обладнання GPU
    • Вища пропускна здатність і більше одночасних запитів на GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence