LoRA 전문가의 혼합 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. LoRA 전문가 혼합의 'LoRA' 부분은 무엇을 의미하나요?
   • 전체 가중치 대신 작은 하위 순위 행렬을 훈련하는 하위 순위 적응(Low-Rank Adaptation)
   • 강화 학습 보상 모델
   • 장거리 주의 메커니즘
   • 어댑터용 데이터 로드 파이프라인
2. MoLE에서 게이팅/라우터 네트워크의 역할은 무엇입니까?
   • 기본 모델 가중치를 압축하려면
   • 활성화할 전문가와 주어진 입력에 대해 어떤 가중치를 적용할지 결정
   • 어댑터에 대한 훈련 데이터를 생성하려면
   • 텍스트를 임베딩으로 변환하려면
3. 여러 혼합 작업에 대해 하나의 어댑터를 교육하는 것보다 MoLE가 더 나은 이유는 무엇입니까?
   • 설계상 더 많은 GPU 메모리를 사용합니다.
   • 기본 모델이 필요하지 않습니다.
   • 별도의 구성 가능한 전문가에게 기술을 유지하여 간섭과 망각을 줄입니다.
   • 단일 언어에서만 작동합니다.
4. LoRA에서 가중치 업데이트는 일반적으로 다음 중 무엇으로 표현됩니까?
   • W를 대체하는 완전 조밀 행렬
   • W의 단일 스칼라 승수
   • 각 단계마다 추가되는 랜덤 노이즈 매트릭스
   • 두 개의 하위 행렬의 곱, B 곱하기 A
5. MoLE 훈련 중에 기본 모델의 사전 훈련된 가중치는 일반적으로 어떻게 되나요?
   • 어댑터와 라우터만 훈련되는 동안에는 정지 상태를 유지합니다.
   • 그들은 처음부터 완전히 재교육을 받았습니다.
   • 삭제되고 다시 작성됩니다.
   • 1비트로 양자화됩니다.
6. 확산 이미지 모델에서 MoLE의 계층적/층별 게이팅은 어떤 문제를 해결하는 데 도움이 됩니까?
   • 느린 인터넷 다운로드
   • 구성하면 서로 압도하는 다양한 컨셉의 LoRA
   • 학습 데이터 부족
   • 잘못된 파일 형식
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update