무엇입니까? 보호된 디코딩?

가장 가능성이 높은 k개의 다음 토큰에서만 샘플링하는 디코딩 전략입니다.

확률의 합이 p인 가장 작은 토큰 세트에서 샘플링하는 디코딩 전략입니다.

모델 출력을 검증하고 강력한 형식의 기계에서 사용 가능한 구조로 변환하는 논리입니다.

작은 초안 모델이 더 큰 모델이 병렬로 검증하는 토큰을 제안하는 추론 가속화 방법입니다.

루프를 줄이기 위해 모델이 이미 생성한 토큰의 확률을 낮추는 디코딩 설정입니다.

지금까지 토큰이 나타난 빈도에 비례하여 토큰의 확률을 줄이는 디코딩 설정입니다.