Kvíz spojený s průvodcem · Střední úroveň

Kvíz ladění předpon

Posuďte přístup zmrazené páteře ladění prefixů, úspory parametrů pro jednotlivé úlohy, umístění na úrovni pozornosti a výsledky při generování úloh v přirozeném jazyce.

Související vodicí cestyLadění prefixů
Otázka 1 z 8

Co vlastně trénuje ladění prefixů?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co vlastně trénuje ladění prefixů?
    • Všechna závaží transformátorů modelu
    • Pouze vrstva výstupního slovníku modelu
    • Samostatná kopie modelu pro každý úkol
    • Malá sada spojitých vektorů předpon, zatímco model zůstává zmrazený
  2. Kam se vkládají vektory předpon?
    • Do klíčů a hodnot v každé vrstvě pozornosti
    • Pouze na finální výstupní vrstvě
    • Pouze do ztrátové funkce
    • Do tokenizeru před vložením
  3. Kdo a kdy zhruba zavedl ladění prefixů?
    • OpenAI v roce 2018
    • Li a Liang na Stanfordu v roce 2021
    • Google v roce 2015
    • Meta v roce 2023
  4. Proč je ladění předpon atraktivní pro obsluhu mnoha úkolů?
    • Nevyžaduje vůbec žádná tréninková data
    • Díky tomu je odvození spuštěno bez hardwaru
    • Každá úloha potřebuje pouze malou předponu namísto úplné kopie modelu
    • Trvale přepisuje základní model pro všechny úkoly najednou
  5. Jaký trik se často používá ke stabilizaci tréninku prefixů?
    • Zdvojnásobení rychlosti učení na každém kroku
    • Zmrazení předpony a trénování modelu
    • Odstranění všech vrstev pozornosti
    • Přeparametrizace prefixu prostřednictvím malé dopředné sítě, která se později zahodí
  6. Na jakém druhu úkolu se prefixové ladění obzvláště zaskvělo?
    • Generování přirozeného jazyka, jako je tabulka-text a sumarizace
    • Klasifikace obrázků
    • Syntéza zvukové vlny
    • Indexování databáze
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • asi 50 %
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter