Тест за оптимизиране на KV кеш

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво съхранява KV кеша и защо?
   • Предишно изчислени ключове и стойности за внимание, така че да не се изчисляват отново всяка стъпка
   • Данните за обучение на модела за преквалификация
   • Потребителски пароли за удостоверяване
   • Само окончателният текст
2. Защо KV кеша може да се превърне в проблем с паметта?
   • Това поврежда графичния процесор за постоянно
   • Той расте с дължината на последователността, размера на партидата и слоевете, понякога надхвърлящи теглото на модела
   • Работи само с текст, по-кратък от 10 думи
   • Дублира операционната система
3. Каква концепция за операционна система заема PagedAttention?
   • Помощни програми за дефрагментиране на диск
   • Антивирусно сканиране
   • Пейджинг във виртуална памет с блокове с фиксиран размер
   • Мащабиране на разделителната способност на екрана
4. Как вниманието при групирани заявки и множество заявки намалява размера на KV кеша?
   • Чрез изтриване на механизма за внимание
   • Чрез съхраняване на кеша като изображения
   • Чрез обучение с по-малко данни
   • Като позволи на много глави на заявки да споделят по-малко глави ключ/стойност
5. Какво е едно от предимствата на споделянето на префикс в KV кеша?
   • Заявките с една и съща начална подкана могат да използват повторно същите кеширани блокове
   • Той криптира модела
   • Забавя всяка заявка еднакво
   • Премахва нуждата от внимание
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible