AI 용어집

추측적 디코딩(이)란?

정의

작은 초안 모델이 더 큰 모델이 병렬로 검증하는 토큰을 제안하는 추론 가속화 방법입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

사용량 기반 청구API 호출, 토큰, 추론 시간 또는 소비된 컴퓨팅에 따라 비용이 조정되는 가격입니다.슬라이딩 윈도우 주의계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.추론훈련된 모델이 예측 또는 출력을 생성하는 런타임 단계입니다.RAG(검색-증강 생성)추론 시 외부 지식을 검색하여 생성에 제공하는 방법입니다.탑케이 샘플링가장 가능성이 높은 k개의 다음 토큰에서만 샘플링하는 디코딩 전략입니다.증류된 모델추론 시 더 적은 컴퓨팅을 사용하면서 더 큰 모델의 동작을 모방하도록 훈련된 더 작은 모델입니다.

무료 가이드에서 자세히 알아보세요

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

또한보십시오

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output