예측 및 Lion 최적화 도구 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Lion 옵티마이저의 가중치 업데이트에서 계산 단계를 정의하는 것은 무엇입니까?
   • 모멘텀 기반 용어의 부호를 취함
   • 기울기를 제곱된 실행 평균으로 나누기
   • 2차 헤세 근사 계산
   • 여러 체크포인트의 평균 가중치
2. Lookahead는 최적화를 어떻게 구성합니까?
   • 단계당 두 번씩 업데이트되는 단일 가중치 세트를 사용합니다.
   • 기본 최적화 프로그램에 의해 업데이트된 '빠른' 가중치와 주기적으로 보간되는 '느린' 가중치를 유지합니다.
   • 메모리를 절약하기 위해 운동량을 완전히 제거합니다.
   • 두 개의 네트워크를 훈련하고 출력의 평균을 구합니다.
3. Lion 옵티마이저는 원래 어떻게 발견되었나요?
   • 볼록 최적화 이론에서 직접 도출하여
   • SGD와 Adam의 업데이트를 평균하여
   • 최적화 알고리즘에 대한 자동화된 기호 프로그램 검색을 통해
   • 입자 운동의 물리 시뮬레이션에서
4. Adam과 비교할 때 Lion의 주요 메모리 이점은 무엇입니까?
   • 상태를 전혀 저장하지 않습니다.
   • 반정밀도 가중치를 자동으로 사용합니다.
   • 모든 레이어에서 상태를 공유합니다.
   • Adam의 두 상태 텐서 대신 하나의 운동량 버퍼만 유지합니다.
5. Lion이 일반적으로 Adam보다 더 낮은 학습률을 요구하는 이유는 무엇입니까?
   • 부호 작업은 모든 업데이트의 크기를 균일하게 만들어 단계를 효과적으로 확장하므로
   • 운동량을 사용하지 않기 때문에
   • 더 큰 배치를 처리하기 때문에
   • 체중 감량을 비활성화하기 때문에
6. Lookahead의 실질적인 이점은 다음과 같은 교육을 수행하는 경향이 있다는 것입니다.
   • 하이퍼파라미터 선택에 더 민감함
   • 진동 감소로 더욱 안정적이고 견고해졌습니다.
   • 단계당 10배씩 느려짐
   • Adam 또는 SGD와 호환되지 않음
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop