추측적 디코딩 초안 모델
추측적 디코딩은 작고 빠른 '초안' 모델을 사용하여 대규모 모델이 한 번에 검증할 예정인 여러 토큰을 추측합니다.
개요
It speeds up text generation 2-3x with no change to the output.
심층 분석
대규모 언어 모델은 한 번에 하나의 토큰으로 텍스트를 생성하며 각 단계에는 느리고 메모리 제한적인 수십억 개의 매개변수를 통한 전체 전달이 필요합니다. 추론적 디코딩은 큰 '목표' 모델과 값싼 '초안' 모델을 결합하여 이를 공격합니다. 초안 모델은 예를 들어 4-8개의 후보 토큰 덩어리를 빠르게 제안합니다. 그런 다음 큰 모델은 단일 병렬 순방향 패스에서 모든 항목을 처리하고 각각을 확인합니다. 대형 모델이 생산한 것과 일치하는 토큰이 허용됩니다. 첫 번째 불일치가 수정되고 나머지는 삭제됩니다. 한 번에 여러 토큰을 검증하는 데 드는 비용은 하나를 생성하는 것과 거의 동일하므로 허용되는 실행은 거의 무료입니다. 결정적으로, 거부 샘플링 단계는 최종 분포가 대규모 모델을 단독으로 실행하는 것과 동일하므로 품질 손실 없이 속도가 보장됩니다.
기술적 통찰력
핵심 트릭은 수정된 거부 샘플링 테스트입니다. 각 초안 토큰에 대해 대상 모델의 확률은 초안 모델의 확률과 비교됩니다. 대상이 동일하거나 더 높은 확률을 할당하면 토큰이 승인됩니다. 그렇지 않으면 비율과 동일한 확률로 승인되고 거부 시 수정된 토큰이 조정된 잔차 분포에서 샘플링됩니다. 이 수학을 통해 출력은 대규모 모델에서 직접 샘플링하는 것과 동일하다는 것이 증명됩니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
추측적 디코딩 초안 모델의 미래
초안 모델이 vLLM 및 TensorRT-LLM과 같은 추론 서버의 표준 인프라가 될 것으로 예상됩니다. 자체 추측 변형(Medusa, EAGLE)은 경량 예측 헤드를 추가하여 별도의 드래프트 모델을 완전히 삭제하고 트리 기반 드래프팅은 많은 후보 연속을 한 번에 확인합니다. 컨텍스트 창이 증가하고 서비스 비용이 지배적으로 증가함에 따라 보다 스마트하고 모델이 일치하는 초안 작성자와 하드웨어 인식 검증을 통해 승인률과 처리량이 높아질 것입니다.
실제 구현
Anthropic, OpenAI 및 Google는 예측 디코딩을 사용하여 수백만 명의 사용자에게 서비스를 제공하는 채팅 도우미의 지연 시간과 서비스 비용을 줄입니다.
vLLM 및 NVIDIA TensorRT-LLM은 내장 추측 디코딩을 제공하므로 셀프 호스팅 업체는 Llama 또는 Mistral 배포 속도를 높일 수 있습니다.
70B 초안 모델을 70B 대상(예: Llama-3 제품군)과 결합하여 단일 GPU에서 초당 토큰을 대략 두 배로 늘립니다.
코드 완성 도구는 작은 초안 모델을 사용하여 더 큰 모델이 검증하는 상용구를 제안하고 편집기에서 제안 사항을 신속하게 유지합니다.
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speculative Decoding Draft Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
코드 모델에 대한 추측적 편집
자주 묻는 질문
What is Speculative Decoding Draft Models?
추측적 디코딩은 작고 빠른 '초안' 모델을 사용하여 대규모 모델이 한 번에 검증할 예정인 여러 토큰을 추측합니다. 출력을 변경하지 않고도 텍스트 생성 속도가 2~3배 빨라집니다.
추측적 디코딩에서 '초안' 모델의 주요 역할은 무엇입니까?
소규모 초안 모델은 다가오는 토큰을 저렴하게 추측하고 대규모 대상 모델은 단일 병렬 패스에서 이를 확인합니다.
한 번에 여러 개의 초안 토큰을 확인하면 시간이 절약되는 이유는 무엇입니까?
생성은 메모리에 묶여 있습니다. 한 번의 일괄 처리 패스에서 여러 토큰을 확인하는 것은 거의 한 단계만큼 저렴하므로 승인된 실행은 거의 무료입니다.
대상 모델이 거부한 첫 번째 토큰 이후 초안 토큰은 어떻게 되나요?
수락은 첫 번째 불일치가 발생할 때까지 진행됩니다. 해당 토큰은 수정되고 이후에 작성된 모든 토큰은 폐기됩니다.
추측적 디코딩은 출력 품질이 저하되지 않도록 어떻게 보장합니까?
수정된 거부 샘플링 테스트는 최종 토큰 배포가 대상 모델에서 직접 샘플링과 일치하도록 보장합니다.
다음 중 별도의 초안 모델을 피하는 '자체 추측' 접근 방식은 무엇입니까?
Medusa와 EAGLE은 자체 미래 토큰 초안을 작성할 수 있도록 메인 모델에 가벼운 추가 예측 헤드를 추가합니다.