Mchanganyiko wa Maswali ya Wataalam wa LoRA

Majibu na maelezo huonekana unapojibu maswali.

1. Je, sehemu ya 'LoRA' ya Mchanganyiko wa Wataalam wa LoRA inarejelea nini?
   • Marekebisho ya Kiwango cha Chini, ambayo hufunza matiti madogo ya daraja la chini badala ya uzani kamili
   • Mfano wa zawadi ya ujifunzaji wa kuimarisha
   • Utaratibu wa kuzingatia kwa muda mrefu
   • Bomba la kupakia data kwa adapta
2. Je, ni kazi gani ya mtandao wa gating/router katika MoLE?
   • Ili kukandamiza uzani wa mfano wa msingi
   • Kuamua ni wataalam gani wa kuamsha na kwa uzani gani kwa pembejeo fulani
   • Kutoa data ya mafunzo kwa adapta
   • Ili kubadilisha maandishi kuwa upachikaji
3. Kwa nini MoLE mara nyingi ni bora kuliko kufunza adapta moja kwenye kazi nyingi zilizochanganywa?
   • Inatumia kumbukumbu zaidi ya GPU kwa muundo
   • Inaondoa hitaji la mfano wowote wa msingi
   • Inapunguza kuingiliwa na kusahau kwa kuweka ujuzi katika wataalam tofauti wanaoweza kutunga
   • Inafanya kazi kwa lugha moja tu
4. Katika LoRA, sasisho la uzito kawaida huonyeshwa kama lipi kati ya yafuatayo?
   • Matrix mnene kamili ikichukua nafasi ya W
   • Kizidishi kimoja cha kozi kwenye W
   • Matrix ya kelele bila mpangilio iliongeza kila hatua
   • Bidhaa ya matrices mbili za kiwango cha chini, mara B mara A
5. Wakati wa mafunzo ya MoLE, ni nini kwa ujumla hufanyika kwa uzani wa msingi wa modeli?
   • Hubaki zikiwa zimegandishwa huku adapta tu na kipanga njia kikifunzwa
   • Wamefunzwa kikamilifu kutoka mwanzo
   • Zinafutwa na kujengwa upya
   • Wanahesabiwa kwa sehemu moja
6. Katika mifano ya picha mtawanyiko, ni tatizo gani ambalo upangaji wa hali ya juu/kwa kila safu katika MoLE husaidia kutatua?
   • Upakuaji wa polepole wa mtandao
   • Dhana nyingi za LoRA zinashindana zinapotungwa
   • Ukosefu wa data ya mafunzo
   • Miundo ya faili isiyo sahihi
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update