गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
सट्टा डिकोडिंग ड्राफ्ट मॉडल प्रश्नोत्तरी
ड्राफ्ट-मॉडल प्रस्तावों, लक्ष्य सत्यापन, अस्वीकृति नमूनाकरण, स्वीकृति संभावनाएं, बोनस टोकन और कार्यभार-निर्भर डिकोडिंग गति का अन्वेषण करें।
प्रश्न 1 का 8
सट्टा डिकोडिंग में 'ड्राफ्ट' मॉडल की प्राथमिक भूमिका क्या है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- सट्टा डिकोडिंग में 'ड्राफ्ट' मॉडल की प्राथमिक भूमिका क्या है?
- बड़े मॉडल को स्थायी रूप से कम मापदंडों में संपीड़ित करने के लिए
- संकेत का किसी भिन्न भाषा में अनुवाद करना
- बड़े मॉडल को सत्यापित करने के लिए कई उम्मीदवार टोकन को तेजी से प्रस्तावित करना
- पुनर्प्राप्ति के लिए पिछली बातचीत को संग्रहीत करना
- Why can verifying a drafted token block accelerate target-model generation in a suitable workload?
- Verification has no compute cost at any block size
- A verification pass can process several positions together and amortize target work across accepted tokens
- The draft model is guaranteed more accurate than the target
- The target model is skipped for every accepted token
- लक्ष्य मॉडल द्वारा पहले टोकन को अस्वीकार करने के बाद ड्राफ्ट किए गए टोकन का क्या होता है?
- पहले बेमेल के बाद सब कुछ त्याग दिया जाता है
- वे सभी वैसे भी स्वीकार किए जाते हैं
- उन्हें तीसरे मॉडल में भेजा जाता है
- उन्हें कैश किया जाता है और अगली बार पुन: उपयोग किया जाता है
- What correctness property does the standard exact speculative-sampling rejection procedure preserve under its assumptions?
- An identical random sequence for every possible random seed
- Guaranteed truth of every generated statement
- The draft model's distribution regardless of the target
- The target model's configured sampling distribution
- Which mechanism distinguishes EAGLE's drafting approach from Medusa's additional decoding heads?
- EAGLE performs only word-count-based lexical retrieval
- EAGLE drafts autoregressively at the target model's feature level
- EAGLE removes target verification from every algorithm
- EAGLE and Medusa are the same architecture with different names
- Why should a speculative-decoding benchmark report the draft-target pair and acceptance rate?
- Every model pair has the same guaranteed speedup
- Acceptance rate measures whether generated facts are true
- Speedup depends on drafting and verification costs and how many proposed tokens are accepted
- The target model's hardware and context length cannot affect performance
- In exact speculative sampling, a proposed token has q equal to 0.2 and p equal to 0.1. What is its acceptance probability?
- 0.1, because only p is used
- 0.2, because only q is used
- 1.0, because every proposed token is accepted
- 0.5, from min(1, p/q)
- What can the standard speculative-sampling algorithm emit when every token in a drafted block is accepted?
- The accepted block plus an additional token sampled from the target
- Only the last drafted token, discarding the accepted prefix
- An arbitrary extra draft token without target sampling
- No output until the draft model is retrained