Quiz dotyczący dostrajania prefiksów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co właściwie trenuje strojenie prefiksów?
   • Wszystkie obciążniki transformatorów modelu
   • Tylko wyjściowa warstwa słownictwa modelu
   • Do każdego zadania osobna kopia modelu
   • Mały zestaw ciągłych wektorów przedrostków, gdy model pozostaje zamrożony
2. Gdzie wstrzykiwane są wektory przedrostków?
   • Do kluczy i wartości w każdej warstwie uwagi
   • Tylko w końcowej warstwie wyjściowej
   • Tylko do funkcji straty
   • Do tokenizera przed osadzeniem
3. Kto wprowadził strojenie przedrostków i mniej więcej kiedy?
   • OpenAI w 2018 r
   • Li i Liang na Uniwersytecie Stanforda w 2021 r
   • Google w 2015 r
   • Meta w 2023 r
4. Dlaczego strojenie prefiksów jest atrakcyjne w przypadku obsługi wielu zadań?
   • Nie wymaga żadnych danych treningowych
   • Powoduje, że wnioskowanie nie działa na żadnym sprzęcie
   • Każde zadanie wymaga tylko małego przedrostka zamiast pełnej kopii modelu
   • Trwale przepisuje model podstawowy dla wszystkich zadań jednocześnie
5. Jakiej sztuczki często używa się do stabilizacji treningu przedrostkowego?
   • Podwajanie szybkości uczenia się na każdym kroku
   • Zamrożenie prefiksu i uczenie modelu
   • Usunięcie wszystkich warstw uwagi
   • Ponowna parametryzacja prefiksu poprzez małą sieć ze sprzężeniem zwrotnym, która jest później odrzucana
6. W jakim zadaniu szczególnie zabłysnęło strojenie przedrostków?
   • Generowanie języka naturalnego, np. zamiana tabeli na tekst i podsumowanie
   • Klasyfikacja obrazu
   • Synteza przebiegu audio
   • Indeksowanie baz danych
7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
   • About 10%
   • About 0.1%
   • Około 50%
   • All model parameters
8. How did prefix-tuning perform in the paper’s low-data settings?
   • It always matched full fine-tuning on every task
   • It could not train with limited examples
   • It outperformed full fine-tuning in some evaluated low-data cases
   • It changed every backbone parameter