무엇입니까? 가지치기?

계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.

모델 크기, 데이터 또는 컴퓨팅에 따라 성능이 어떻게 향상되는지 보여주는 경험적 관계입니다.

추론 시 더 적은 컴퓨팅을 사용하면서 더 큰 모델의 동작을 모방하도록 훈련된 더 작은 모델입니다.

예측 오류를 네트워크를 통해 역방향으로 전파하여 모델 가중치를 업데이트하는 핵심 훈련 알고리즘입니다.

모델을 훈련하고 실행하는 데 필요한 처리 리소스는 FLOPS 또는 GPU 시간으로 측정되는 경우가 많습니다.

손실을 줄이기 위해 각 매개변수를 얼마나 변경해야 하는지 보여주는 벡터입니다.