Rehber bağlantılı sınav · Sert Seviye

EAGLE Sınavı ile Spekülatif Kod Çözme

EAGLE özellik taslağını, hedef doğrulamayı, dağıtımın korunmasını, geri bildirim yerleştirmelerini, dinamik taslak ağaçlarını ve kod çözme maliyetini kontrol eder.

İlgili kılavuz yollarıKartal ile Spekülatif Kod Çözme
Soru 1 arasında 8

Spekülatif kod çözmenin ardındaki temel fikir nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Spekülatif kod çözmenin ardındaki temel fikir nedir?
    • Ucuz bir taslak hazırlayıcı, büyük modelin tek bir paralel geçişte doğruladığı birden fazla token önerir
    • Modelin ağırlıklarını yarı hassasiyete sıkıştırmak
    • Ağın katmanlarını rastgele atlamak
    • Olası her çıktı cümlesini önceden önbelleğe alma
  2. EAGLE'ın önceki spekülatif kod çözme yaklaşımlarından farkı nedir?
    • Doğrulama adımını tamamen ortadan kaldırır
    • Doğrudan belirteç düzeyinden ziyade modelin gizli özellik alanında taslak oluşturur
    • Taslak hazırlayıcı olarak tamamen ayrı, daha büyük bir model kullanır
    • Yalnızca görüntü oluşturmak için çalışır
  3. Why is speculative decoding considered lossless when implemented with exact verification?
    • Every draft token is accepted unconditionally
    • The drafter always predicts the target’s next token
    • The acceptance and correction procedure preserves the target model’s output distribution
    • The target model is never evaluated
  4. EAGLE'ın özellik taslağındaki hangi sorun, önceki belirtecin yerleştirilmesinin geri beslenmesiyle çözülmeye yardımcı olur?
    • GPU'da bellek parçalanması
    • Diller arasında belirteç uyumsuzluğu
    • Donanımın aşırı ısınması
    • Bir sonraki özelliği tahmin etmenin belirsizliği/belirsizliği
  5. EAGLE-2 orijinal EAGLE'ın üzerine ne ekledi?
    • Kaç adayın önerileceğini uyarlayan dinamik bir taslak ağacı
    • Sabit tek jetonlu taslak
    • LM kafasının çıkarılması
    • Yalnızca iki kat veriyle eğitim
  6. Otoregresif darboğaz neden düz LLM oluşumunu yavaşlatıyor?
    • Model her jetondan sonra kendini yeniden eğitir
    • Her yeni token, bir sonrakinin başlayabilmesi için milyarlarca parametreden tam bir ileri geçişe ihtiyaç duyar
    • Belirteçler adımlar arasında diskte saklanır
    • GPU'nun jeton başına yeniden başlatılması gerekir
  7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
    • The tokenizer’s vocabulary file alone
    • The optimizer’s momentum buffer
    • The target model’s language-model head
    • The KV-cache allocator
  8. What change does EAGLE-3 make to the original feature-drafting constraint?
    • It replaces the target model with a tokenizer
    • It disables target verification
    • It requires a separate human drafter
    • It removes a feature-prediction constraint to improve scaling