Тест, свързан с ръководство · Среден Ниво

Тест за настройка на префикса

Оценете подхода на замразената гръбнака на настройката на префикса, спестяванията на параметри за всяка задача, разположението на слоя за внимание и резултатите при задачи за генериране на естествен език.

Свързани ръководни пътекиНастройка на префикса
Въпрос 1 на 8

Какво всъщност обучава настройката на префикса?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво всъщност обучава настройката на префикса?
    • Всички тегла на трансформатора на модела
    • Само изходния речников слой на модела
    • Отделно копие на модела за всяка задача
    • Малък набор от непрекъснати префиксни вектори, докато моделът остава замразен
  2. Къде се инжектират префиксните вектори?
    • В ключовете и ценностите на всеки слой на вниманието
    • Само на крайния изходен слой
    • Само във функцията на загубата
    • В токенизатора преди вграждане
  3. Кой въведе настройката на префикса и кога приблизително?
    • OpenAI през 2018 г
    • Ли и Лян в Станфорд през 2021 г
    • Google през 2015 г
    • Meta през 2023 г
  4. Защо настройката на префикса е привлекателна за обслужване на много задачи?
    • Изобщо не изисква данни за обучение
    • Това кара извода да работи без хардуер
    • Всяка задача се нуждае само от малък префикс вместо пълно копие на модела
    • Той постоянно пренаписва базовия модел за всички задачи наведнъж
  5. Какъв трик често се използва за стабилизиране на обучението с префикс?
    • Удвояване на скоростта на обучение на всяка стъпка
    • Замразяване на префикса и обучение на модела
    • Премахване на всички слоеве на внимание
    • Повторно параметризиране на префикса чрез малка мрежа за предаване напред, която по-късно се изхвърля
  6. При какъв вид задача настройката на префикса беше особено блестяща?
    • Генериране на естествен език като таблица към текст и обобщение
    • Класификация на изображенията
    • Синтез на формата на аудио вълната
    • Индексиране на бази данни
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • около 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter