Rehber bağlantılı sınav · Sert Seviye
Spekülatif Yayın ve Çoklu Token Tahmin Sınavı
Taslak teklifleri, hedef doğrulamayı, kabul edilen önekleri, çoklu jeton başlıklarını ve kabul oranının kod çözme hızını neden etkilediğini kontrol eder.
Soru 1 arasında 8
GPU'da standart otoregresif kod çözme neden genellikle yavaştır?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- GPU'da standart otoregresif kod çözme neden genellikle yavaştır?
- Jetonlar birer birer üretilir ve GPU'nun adım başına gereğinden az kullanılması sağlanır
- GPU'nun belleği hemen tükeniyor
- Her jeton üzerinde yeniden eğitilmesi gerekir
- Kelime hazinesi çok küçük
- Spekülatif kod çözmede bir 'taslakçı' ne yapar?
- Son cevabı tek başına yazıyor
- Ucuza birkaç aday gelecek tokeni önerir
- Düşük olasılıklı tokenları siler
- Model ağırlıklarını sıkıştırır
- Spekülatif kod çözmede çıktı kalitesi nasıl korunur?
- Olasılıkları sıfıra yuvarlayarak
- Daha geniş bir kelime dağarcığı kullanarak
- Yalnızca hedef dağıtımla eşleşen jetonları kabul eden doğrulama yoluyla
- Doğrulamayı tamamen atlayarak
- Medusa tarzı çoklu token tahminini klasik spekülatif kod çözmeden ayıran şey nedir?
- İki ayrı büyük model gerektirir
- Yalnızca görüntü oluşturmak için çalışır
- Herhangi bir ileri geçiş ihtiyacını ortadan kaldırır
- Ekstra hafif tahmin kafaları ekleyerek tek bir modelin taslağını hazırlayıp doğrulamasını sağlar
- Bir transformatör neden birçok aday konumu kod çözme sırasında neredeyse tek bir konum kadar ucuz bir şekilde doğrulayabiliyor?
- Kod çözme, hesaplamaya bağlı değil, bellek bant genişliğine bağlı olduğundan
- Çünkü tüm interneti önbelleğe alıyor
- Çünkü doğrulama dikkat katmanlarını atlıyor
- Çünkü GPU saat hızı iki katına çıkar
- Spekülatif veya çok tokenli yöntemlerin hızlanmasını öncelikli olarak ne belirler?
- GPU'nun rengi
- Adım başına kabul edilen ortalama jeton sayısı
- Modelin adının uzunluğu
- Diskin boyutu
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution