Quiz połączony z przewodnikiem · Średni Poziom
Warstwy adapterów do quizu dotyczącego transferu
Sprawdź, jak adaptery wąskiego gardła zachowują zamrożony model podstawowy, umożliwiają modułowy transfer zadań lub domen i porównaj z LoRA.
Pytanie 1 z 8
Co dzieje się z oryginalnymi, wstępnie wytrenowanymi ciężarkami podczas treningu z adapterami?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Co dzieje się z oryginalnymi, wstępnie wytrenowanymi ciężarkami podczas treningu z adapterami?
- Są one zamrażane na czas uczenia wyłącznie parametrów adaptera
- Są usuwane
- Są one losowo ponownie inicjowane
- Są dwukrotnie większe
- Jaka jest typowa struktura wewnętrzna adaptera wąskiego gardła?
- Pojedyncza, ogromna, gęsta warstwa
- Projekcja w dół, nieliniowość, następnie projekcja w górę, z resztkowym połączeniem
- Tylko głowa uwagi
- Splotowy filtr obrazu
- W przybliżeniu, jaką część parametrów zwykle szkolą adaptery?
- 100%
- Dokładnie 50%
- Często poniżej 5%
- Żadnego
- Dlaczego adaptery są wygodne w obsłudze wielu zadań?
- Wymagają oddzielnej pełnej kopii modelu na każde zadanie
- Nie można ich łączyć
- Po każdym zadaniu usuwają model podstawowy
- Zachowujesz jeden model podstawowy i wymieniasz małe adaptery do poszczególnych zadań
- Do jakiej rodziny technik należą adaptery?
- Efektywne dostrajanie parametrów (PEFT)
- Zwiększanie danych
- Kompresja obrazu
- Schematy tokenizacji
- Jaką przewagę oferuje LoRA w porównaniu z klasycznym adapterem włożonym w czasie wnioskowania?
- Nie da się tego wytrenować
- Wyuczone wagi można połączyć z macierzami podstawowymi, unikając dodatkowych opóźnień na poziomie warstwy
- Wymaga to przeszkolenia całego modelu
- Trwale usuwa pozostałości połączenia
- What does a residual connection contribute to a classic bottleneck adapter?
- A second full pretrained model copy for each task
- A mandatory external retrieval database
- A path that adds the adapter’s transformed representation back to the original hidden state
- A guarantee that no added computation occurs
- What is one benefit of stacking a domain adapter with a task adapter?
- Merge all user data into the frozen base weights automatically
- Avoid using any adapter modules
- Convert a language model into a vision encoder
- Reuse a domain specialization together with a separate task specialization