무엇입니까? 스케일링 법칙?

계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.

상호작용이나 자체 복사본과의 경쟁을 통해 데이터를 생성하여 모델을 개선하는 교육 설정입니다.

AI 시스템의 논리, 데이터 소스 및 제한 사항이 얼마나 명확하게 문서화되고 이해되는지.

시간에 따른 실제 입력 데이터의 변화로 인해 모델 성능이 저하될 수 있습니다.

훈련 세트 외부에서 볼 수 없는 새로운 데이터에 대해 모델이 얼마나 잘 수행되는지입니다.

손실을 줄이기 위해 각 매개변수를 얼마나 변경해야 하는지 보여주는 벡터입니다.