무엇입니까? 추측적 디코딩?

API 호출, 토큰, 추론 시간 또는 소비된 컴퓨팅에 따라 비용이 조정되는 가격입니다.

계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.

훈련된 모델이 예측 또는 출력을 생성하는 런타임 단계입니다.

추론 시 외부 지식을 검색하여 생성에 제공하는 방법입니다.

가장 가능성이 높은 k개의 다음 토큰에서만 샘플링하는 디코딩 전략입니다.

추론 시 더 적은 컴퓨팅을 사용하면서 더 큰 모델의 동작을 모방하도록 훈련된 더 작은 모델입니다.