Тест за спекулативно поточно предаване и прогнозиране на множество токени

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Защо стандартното авторегресивно декодиране често е бавно на GPU?
   • Токените се произвеждат един по един, оставяйки графичния процесор недостатъчно използван на стъпка
   • Графичният процесор незабавно изчерпва паметта си
   • Трябва да се преквалифицира на всеки жетон
   • Речникът е твърде малък
2. Какво прави „чернописецът“ при спекулативно декодиране?
   • Той пише окончателния отговор сам
   • Той предлага няколко кандидат-бъдещи токена евтино
   • Той изтрива токени с ниска вероятност
   • Той компресира тежестите на модела
3. Как се запазва качеството на изхода при спекулативно декодиране?
   • Чрез закръгляване на вероятностите до нула
   • Чрез използване на по-голям речников запас
   • Чрез проверка, която приема само токени, съответстващи на целевото разпространение
   • Като пропуснете изцяло проверката
4. Какво отличава предсказанието с множество токени в стил Medusa от класическото спекулативно декодиране?
   • Изисква два отделни големи модела
   • Работи само за генериране на изображения
   • Премахва необходимостта от каквото и да е подаване напред
   • Той добавя допълнителни олекотени глави за прогнозиране, така че един модел чертае и проверява
5. Защо трансформаторът може да провери много кандидат позиции почти толкова евтино, колкото една по време на декодиране?
   • Тъй като декодирането е обвързано с честотната лента на паметта, а не с изчисленията
   • Защото кешира целия интернет
   • Тъй като проверката пропуска слоевете на вниманието
   • Тъй като тактовата честота на GPU се удвоява
6. Какво основно определя ускоряването от спекулативни методи или методи с множество токени?
   • Цветът на GPU
   • Средният брой токени, приети на стъпка
   • Дължината на името на модела
   • Размерът на диска
7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
   • A, B and C
   • B and C only
   • A, the matching prefix before the first mismatch
   • None, even if A matches
8. Why can speculative decoding preserve the target model’s output distribution?
   • The drafter is guaranteed to be identical to the target
   • The target model is never run
   • All proposed tokens are accepted unconditionally
   • A verification and correction rule accepts or rejects draft tokens according to the target distribution