Mezcla de cuestionario de expertos de LoRA

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿A qué se refiere la parte 'LoRA' de Mixture of LoRA Experts?
   • Adaptación de bajo rango, que entrena pequeñas matrices de bajo rango en lugar de pesos completos
   • Un modelo de recompensa por aprendizaje reforzado
   • Un mecanismo de atención de largo alcance
   • Un canal de carga de datos para adaptadores
2. ¿Cuál es el trabajo de la red de puerta/enrutador en MoLE?
   • Para comprimir los pesos del modelo base
   • Decidir qué expertos activar y con qué pesos para una entrada determinada
   • Para generar datos de entrenamiento para los adaptadores
   • Para convertir texto en incrustaciones
3. ¿Por qué MoLE suele ser mejor que entrenar a un adaptador en muchas tareas mixtas?
   • Utiliza más memoria GPU por diseño
   • Elimina la necesidad de cualquier modelo base.
   • Reduce la interferencia y el olvido al mantener las habilidades en expertos componibles separados.
   • Solo funciona en un solo idioma.
4. En LoRA, ¿la actualización de peso normalmente se expresa como cuál de las siguientes opciones?
   • Una matriz completamente densa que reemplaza a W
   • Un único multiplicador escalar en W
   • Una matriz de ruido aleatoria agregada en cada paso.
   • El producto de dos matrices de bajo rango, B por A
5. Durante el entrenamiento MoLE, ¿qué sucede generalmente con los pesos previamente entrenados del modelo base?
   • Permanecen congelados mientras solo se entrenan los adaptadores y el enrutador
   • Están completamente reentrenados desde cero.
   • Se eliminan y se reconstruyen.
   • Están cuantificados a un bit.
6. En los modelos de imágenes de difusión, ¿qué problema ayuda a resolver la activación jerárquica/por capa en MoLE?
   • Descargas lentas de Internet
   • Múltiples conceptos de LoRA se dominan entre sí cuando se componen
   • Falta de datos de entrenamiento.
   • Formatos de archivo incorrectos
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update