Викторина по настройке приставки

Ответы и пояснения появляются по мере прохождения теста.

1. Что вообще тренирует настройка приставки?
   • Все веса трансформера модели
   • Только выходной словарный слой модели.
   • Отдельный экземпляр модели для каждой задачи
   • Небольшой набор непрерывных префиксных векторов, пока модель остается замороженной.
2. Куда вводятся префиксные векторы?
   • Ключи и значения на каждом уровне внимания
   • Только на конечном выходном слое
   • Только в функцию потерь
   • В токенайзер перед встраиванием
3. Кто и примерно когда ввёл тюнинг приставки?
   • OpenAI в 2018 году
   • Ли и Лян в Стэнфорде в 2021 году
   • Google в 2015 году
   • Meta в 2023 году
4. Почему настройка приставки привлекательна для решения многих задач?
   • Он вообще не требует никаких обучающих данных
   • Это делает вывод без аппаратного обеспечения
   • Каждой задаче нужен лишь крошечный префикс вместо полной копии модели.
   • Он постоянно переписывает базовую модель для всех задач одновременно.
5. Какой прием часто используется для стабилизации префиксного обучения?
   • Удвоение скорости обучения на каждом этапе
   • Замораживание префикса и обучение модели
   • Удаление всех слоев внимания
   • Повторная параметризация префикса через небольшую сеть прямой связи, которая позже отбрасывается.
6. В каких задачах особенно проявил себя тюнинг приставки?
   • Генерация естественного языка, например преобразование таблицы в текст и обобщение
   • Классификация изображений
   • Синтез звуковых сигналов
   • Индексирование базы данных
7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
   • About 10%
   • About 0.1%
   • Около 50%
   • All model parameters
8. How did prefix-tuning perform in the paper’s low-data settings?
   • It always matched full fine-tuning on every task
   • It could not train with limited examples
   • It outperformed full fine-tuning in some evaluated low-data cases
   • It changed every backbone parameter