온도 및 샘플링

언어 모델은 각 후보 토큰에 대해 로짓이라는 점수를 생성합니다. Softmax는 이러한 점수를 확률로 변환하고 샘플링 절차를 통해 다음 토큰을 선택합니다. 양의 온도 T의 경우 로짓을 T로 나누면 샘플링 전 상대 확률 분포가 변경됩니다. 1보다 작은 값은 차이를 더 뚜렷하게 합니다. 1보다 큰 값은 평면화됩니다. 두 로지트가 6만큼 차이가 나는 경우 온도를 2로 나누면 3의 차이가 발생합니다. 그 계산은 점수를 설명하는 것이지 두 후보자의 진실을 설명하는 것이 아닙니다. 그리디 디코딩은 샘플링 대신 가장 높은 점수를 받은 토큰을 선택합니다. 문자 그대로 로짓을 0으로 나누어 구현하기보다는 디코딩 규칙으로 취급해야 합니다. 매우 작은 양의 온도는 확률을 집중시키지만 샘플링을 비활성화하는 것과는 개념적으로 다릅니다. 후보 필터는 또 다른 제어 기능을 제공합니다. Top-k는 지정된 수의 최고 확률 토큰을 유지합니다. 핵 샘플링이라고도 하는 Top-p는 확률을 기준으로 후보를 정렬하고 누적 확률이 선택한 임계값에 도달하거나 초과하는 가장 작은 선행 세트를 유지합니다. top-p가 0.80인 확률 0.55, 0.30, 0.10 및 0.05의 경우 처음 두 후보의 합은 0.85이므로 충분합니다. 이들의 총합이 임계값과 정확히 같을 필요는 없습니다. 이러한 선택은 다양성과 반복성에 영향을 미칠 수 있지만 출력이 사실인지, 안전하거나 구문적으로 유효한지 여부를 입증하는 필터는 없습니다. 생성 동작은 구현 및 나머지 디코딩 구성에 따라 달라지므로 결과를 비교할 때 실제 설정을 기록하십시오.