2차 최적화 및 뉴턴 방법 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 뉴턴의 방법은 일반 경사 하강법이 사용하지 않는 어떤 정보를 사용합니까?
   • 헤세 행렬의 2차 도함수를 통한 곡률
   • 전역 최소값의 정확한 위치
   • 학습률 일정
   • 훈련 예시의 수
2. 완벽하게 2차 목적을 달성하려면 뉴턴의 방법이 최소값에 도달하려면 몇 단계가 필요합니까?
   • 정확히 10걸음
   • 한 걸음
   • 경사하강법과 같은 숫자
   • 결코 수렴하지 않는다
3. 10억 매개변수 신경망에 완전 뉴턴 방법이 비실용적인 이유는 무엇입니까?
   • 기울기를 계산할 수 없습니다.
   • 신경망에서 2차 도함수는 항상 0입니다.
   • Hessian은 N x N이므로 N 제곱 메모리와 N 큐브 계산을 반전하는 데 비용이 듭니다.
   • 이미지에서만 작동합니다.
4. 헤세 행렬의 비용을 피하기 위해 BFGS와 같은 준뉴턴 방법은 무엇을 합니까?
   • 그들은 그라데이션을 완전히 무시합니다.
   • 그들은 무작위로 곡률을 추측합니다.
   • 문제를 선형 문제로 변환합니다.
   • 연속적인 기울기 차이로부터 역 헤세 행렬의 근사치를 구축합니다.
5. L-BFGS는 BFGS에 비해 메모리를 어떻게 줄입니까?
   • 전체 행렬 대신 마지막 몇 개의 그래디언트 및 단계 벡터만 저장합니다.
   • 단정밀도 부동 소수점만 사용합니다.
   • 각 단계 후에 그라데이션을 삭제합니다.
   • 더 적은 매개변수로 학습합니다.
6. 대규모 신경망 훈련 속도를 높이기 위해 곡률을 근사화하는 최신 접근 방식은 무엇입니까?
   • 원-핫 인코딩
   • K-FAC, 샴푸 등 크로네커 요인 분석법
   • 수정이 없는 일반 확률적 경사하강법
   • 탈락
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes