투기적 스트리밍 및 다중 토큰 예측 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. GPU에서 표준 자동 회귀 디코딩이 종종 느린 이유는 무엇입니까?
   • 토큰은 한 번에 하나씩 생성되므로 단계별 GPU 사용량이 적습니다.
   • GPU의 메모리가 즉시 부족해집니다.
   • 각 토큰에 대해 재교육해야 합니다.
   • 어휘력이 너무 부족해요
2. 추측적 디코딩에서 '작성자'는 무엇을 합니까?
   • 최종 답은 혼자 쓴다
   • 여러 후보 미래 토큰을 저렴하게 제안합니다.
   • 확률이 낮은 토큰을 삭제합니다.
   • 모델 가중치를 압축합니다.
3. 추측적 디코딩에서 출력 품질은 어떻게 유지됩니까?
   • 확률을 0으로 반올림하여
   • 더 큰 어휘를 사용함으로써
   • 대상 분포와 일치하는 토큰만 허용하는 검증을 통해
   • 확인을 완전히 건너뛰면
4. 메두사 스타일의 다중 토큰 예측과 고전적인 추측 디코딩의 차이점은 무엇입니까?
   • 두 개의 별도 대형 모델이 필요합니다.
   • 이미지 생성에만 작동합니다.
   • 앞으로 패스가 필요하지 않습니다.
   • 하나의 모델 초안을 작성하고 검증할 수 있도록 가벼운 예측 헤드를 추가합니다.
5. 변환기가 디코딩 중에 하나만큼 저렴하게 많은 후보 위치를 확인할 수 있는 이유는 무엇입니까?
   • 디코딩은 메모리 대역폭에 국한되어 있고 컴퓨팅에 국한되지 않기 때문입니다.
   • 인터넷 전체를 캐시하기 때문에
   • 검증은 Attention 레이어를 건너뛰기 때문입니다.
   • GPU 클럭 속도가 두 배로 빨라지기 때문에
6. 투기적 방법이나 다중 토큰 방법의 속도 향상을 주로 결정하는 것은 무엇입니까?
   • GPU의 색상
   • 단계당 허용되는 평균 토큰 수
   • 모델명의 길이
   • 디스크의 크기
7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
   • A, B and C
   • B and C only
   • A, the matching prefix before the first mismatch
   • None, even if A matches
8. Why can speculative decoding preserve the target model’s output distribution?
   • The drafter is guaranteed to be identical to the target
   • The target model is never run
   • All proposed tokens are accepted unconditionally
   • A verification and correction rule accepts or rejects draft tokens according to the target distribution