무엇입니까? 사용량 기반 청구?

각 응답을 생성하는 동안 소비된 처리 능력의 양입니다.

품질이나 추론을 개선하기 위해 응답 생성 중에 사용되는 추가 추론 계산입니다.

작은 초안 모델이 더 큰 모델이 병렬로 검증하는 토큰을 제안하는 추론 가속화 방법입니다.

계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.

훈련된 모델이 예측 또는 출력을 생성하는 런타임 단계입니다.

추론 시 외부 지식을 검색하여 생성에 제공하는 방법입니다.