Mieszanka quizu ekspertów LoRA

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Do czego odnosi się część „LoRA” w Mieszance ekspertów LoRA?
   • Adaptacja niskiego rzędu, która trenuje małe macierze niskiego rzędu zamiast pełnych wag
   • Model nagrody za uczenie się przez wzmacnianie
   • Mechanizm uwagi dalekiego zasięgu
   • Potok ładowania danych dla adapterów
2. Jakie jest zadanie sieci bramkowej/routerowej w MoLE?
   • Aby skompresować ciężary modelu podstawowego
   • Decydowanie, jakich ekspertów aktywować i z jakimi wagami dla danego wejścia
   • Aby wygenerować dane szkoleniowe dla adapterów
   • Aby przekonwertować tekst na elementy osadzone
3. Dlaczego MoLE jest często lepszy niż szkolenie jednego adaptera w zakresie wielu mieszanych zadań?
   • Z założenia wykorzystuje więcej pamięci GPU
   • Eliminuje to potrzebę stosowania jakiegokolwiek modelu podstawowego
   • Zmniejsza zakłócenia i zapominanie, utrzymując umiejętności w oddzielnych, komponowanych ekspertach
   • Działa tylko w jednym języku
4. W LoRA aktualizacja wagi jest zwykle wyrażana w następujący sposób?
   • Pełna gęsta macierz zastępująca W
   • Pojedynczy mnożnik skalarny na W
   • Do każdego kroku dodawana jest matryca losowego szumu
   • Iloczyn dwóch macierzy niskiego rzędu, B razy A
5. Co w trakcie treningu MoLE dzieje się z wstępnie wytrenowanymi ciężarami modelu podstawowego?
   • Pozostają zamrożone, podczas gdy przeszkolone są tylko adaptery i router
   • Są całkowicie przeszkoleni od zera
   • Są usuwane i tworzone od nowa
   • Są one skwantowane do jednego bitu
6. Jaki problem w modelach obrazu dyfuzyjnego pomaga rozwiązać bramkowanie hierarchiczne/perwarstwowe w MoLE?
   • Powolne pobieranie z Internetu
   • Wiele koncepcji LoRA obezwładniających się nawzajem po skomponowaniu
   • Brak danych treningowych
   • Nieprawidłowe formaty plików
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update