Назад до всіх тестівВікторина, пов’язана з посібникомважко Рівень6 Питання

Спекулятивне потокове передавання та вікторина з прогнозуванням кількох токенів

Перевірте свої знання про спекулятивне декодування та передбачення з кількома маркерами.

Питання 1 з 6Правильно: 0

Чому стандартне авторегресійне декодування часто повільне на GPU?