Kvíz spojený s průvodcem · Střední úroveň
Kvíz ladění předpon
Posuďte přístup zmrazené páteře ladění prefixů, úspory parametrů pro jednotlivé úlohy, umístění na úrovni pozornosti a výsledky při generování úloh v přirozeném jazyce.
Otázka 1 z 8
Co vlastně trénuje ladění prefixů?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co vlastně trénuje ladění prefixů?
- Všechna závaží transformátorů modelu
- Pouze vrstva výstupního slovníku modelu
- Samostatná kopie modelu pro každý úkol
- Malá sada spojitých vektorů předpon, zatímco model zůstává zmrazený
- Kam se vkládají vektory předpon?
- Do klíčů a hodnot v každé vrstvě pozornosti
- Pouze na finální výstupní vrstvě
- Pouze do ztrátové funkce
- Do tokenizeru před vložením
- Kdo a kdy zhruba zavedl ladění prefixů?
- OpenAI v roce 2018
- Li a Liang na Stanfordu v roce 2021
- Google v roce 2015
- Meta v roce 2023
- Proč je ladění předpon atraktivní pro obsluhu mnoha úkolů?
- Nevyžaduje vůbec žádná tréninková data
- Díky tomu je odvození spuštěno bez hardwaru
- Každá úloha potřebuje pouze malou předponu namísto úplné kopie modelu
- Trvale přepisuje základní model pro všechny úkoly najednou
- Jaký trik se často používá ke stabilizaci tréninku prefixů?
- Zdvojnásobení rychlosti učení na každém kroku
- Zmrazení předpony a trénování modelu
- Odstranění všech vrstev pozornosti
- Přeparametrizace prefixu prostřednictvím malé dopředné sítě, která se později zahodí
- Na jakém druhu úkolu se prefixové ladění obzvláště zaskvělo?
- Generování přirozeného jazyka, jako je tabulka-text a sumarizace
- Klasifikace obrázků
- Syntéza zvukové vlny
- Indexování databáze
- What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
- About 10%
- About 0.1%
- asi 50 %
- All model parameters
- How did prefix-tuning perform in the paper’s low-data settings?
- It always matched full fine-tuning on every task
- It could not train with limited examples
- It outperformed full fine-tuning in some evaluated low-data cases
- It changed every backbone parameter