Вікторина з налаштування префіксів

Відповіді та пояснення з’являються під час виконання тесту.

1. Що насправді тренує налаштування префіксів?
   • Вага всіх трансформаторів моделі
   • Лише вихідний словниковий рівень моделі
   • Для кожного завдання окремий екземпляр моделі
   • Невеликий набір безперервних префіксних векторів, поки модель залишається замороженою
2. Куди вводять префіксні вектори?
   • До ключів і цінностей на кожному рівні уваги
   • Тільки на кінцевому вихідному шарі
   • Лише до функції втрат
   • У токенізер перед вставленням
3. Хто запровадив налаштування префіксів і коли приблизно?
   • OpenAI у 2018 році
   • Лі та Лян у Стенфорді у 2021 році
   • Google у 2015 році
   • Meta у 2023 році
4. Чому налаштування префіксів є привабливим для виконання багатьох завдань?
   • Для цього взагалі не потрібні навчальні дані
   • Це робить висновок без апаратного забезпечення
   • Для кожного завдання потрібен лише крихітний префікс замість повної копії моделі
   • Він постійно переписує базову модель для всіх завдань одночасно
5. Який трюк часто використовують для стабілізації навчання префіксу?
   • Подвоєння швидкості навчання на кожному кроці
   • Закріплення префікса та навчання моделі
   • Видалення всіх шарів уваги
   • Перепараметризація префікса через невелику мережу прямого зв’язку, яка пізніше відкидається
6. У яких завданнях налаштування префіксів особливо блиснула?
   • Генерація природної мови, як таблиця в текст і резюмування
   • Класифікація зображень
   • Синтез звукових сигналів
   • Індексація бази даних
7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
   • About 10%
   • About 0.1%
   • Близько 50%
   • All model parameters
8. How did prefix-tuning perform in the paper’s low-data settings?
   • It always matched full fine-tuning on every task
   • It could not train with limited examples
   • It outperformed full fine-tuning in some evaluated low-data cases
   • It changed every backbone parameter