무엇입니까? 그라데이션?

매개변수가 각 업데이트 단계를 얼마나 변경하는지 제어하는 훈련 하이퍼파라미터입니다.

모델 크기, 데이터 또는 컴퓨팅에 따라 성능이 어떻게 향상되는지 보여주는 경험적 관계입니다.

계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.

생성자와 판별자가 서로 훈련하는 생성 설정입니다.

훈련 세트 외부에서 볼 수 없는 새로운 데이터에 대해 모델이 얼마나 잘 수행되는지입니다.

오류를 줄이는 방향으로 매개변수를 업데이트하는 최적화 방법입니다.