Тест, свързан с ръководство · трудно Ниво

PagedAttention и vLLM тест

Тествайте PagedAttention KV блокове, логическо към физическо съпоставяне и споделяне, включително разликата между спестяване на кеш памет и общо съхранение на модела.

Свързани ръководни пътекиPagedattention и Vllm
Въпрос 1 на 8

Какво съхранява „KV кеша“ по време на генериране на текст?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво съхранява „KV кеша“ по време на генериране на текст?
    • Данни за обучение на модела
    • Идентификационните данни за вход на потребителя
    • Ключовите и стойностните вектори за минали токени, така че новите токени да могат да се погрижат за тях
    • Компресирано копие на теглото на модела
  2. Каква концепция за операционна система вдъхнови PagedAttention?
    • Инструменти за дефрагментиране на дискове
    • Пейджинг на виртуална памет
    • Компресиране на файлове
    • Прогноза за клон на процесора
  3. Какъв проблем с традиционното разпределение на KV кеш решава PagedAttention?
    • Бавни интернет връзки
    • Липса на данни за обучение
    • Слаба сигурност на паролата
    • Загуба на памет от запазване на големи съседни блокове за всяка заявка
  4. Как PagedAttention позволява на множество изходи да споделят памет за обща подкана?
    • Различни последователности сочат към едни и същи физически страници чрез копиране при запис
    • Изтрива подканата след първото използване
    • Той съхранява подканата на диск
    • Той преобучава модела за всеки изход
  5. Къде първоначално са разработени vLLM и PagedAttention?
    • Академична лаборатория от 1990 г
    • UC Berkeley (публикуван 2023 г.)
    • Маркетингов екип на доставчик на хардуер
    • Анонимен онлайн форум
  6. Каква е основната практическа полза от vLLM за някой, който обслужва LLM?
    • По-голяма точност на модела при бенчмаркове
    • Автоматично етикетиране на данни
    • Безплатен GPU хардуер
    • По-висока производителност и повече едновременни заявки за GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence