Rehber bağlantılı sınav · Orta Seviye
Nucleus ve Top-k Örnekleme Testi
Üst-k, üst-p ve sıcaklığın simge örneklemeyi nasıl değiştirdiğini ve kod çözme seçimlerinin oluşturulan metin davranışını neden değiştirdiğini anlayın.
Soru 1 arasında 8
Top-k örnekleme token seçimlerini nasıl kısıtlıyor?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Top-k örnekleme token seçimlerini nasıl kısıtlıyor?
- Yalnızca en yüksek olasılıklı tokenleri tutar, ardından aralarından örnekler alır
- Kümülatif olasılık k değerini aşana kadar jetonları tutar
- Her zaman en olası tek jetonu seçer
- Yalnızca en az olası k jetonu kaldırır
- Çekirdek (top-p) örneklemesinde 'çekirdek'i ne tanımlar?
- Eğitim verilerinde en sık kullanılan k kelime
- Olasılıkları toplamı en az p olan en küçük jeton seti
- En yüksek olasılığa sahip tek token
- Olasılığı %50'nin üzerinde olan tüm tokenlar
- Top-p'nin top-k'ye göre temel avantajı nedir?
- Hesaplamak her zaman daha hızlıdır
- Hiçbir zaman rastgele çıktı üretmez
- Aday tokenlerin sayısı modelin güvenine uyum sağlar
- Belirteç olasılıklarını göz ardı eder
- Sıcaklık parametresi numune almadan önce ne yapar?
- Maksimum dizi uzunluğunu ayarlar
- Çıkış dilini seçer
- Kelime boyutunu sayar
- Olasılık dağılımını daha keskin veya daha düz olacak şekilde yeniden ölçeklendirir
- What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
- It improved diversity without sacrificing fluency and coherence in the reported comparisons
- It guaranteed factual correctness in every output
- It eliminated all sampling randomness
- It improved translation quality on every benchmark
- For a greedy decoding baseline with no token sampling, how should generation be configured?
- Disable sampling and use greedy decoding to select the highest-probability token at each step
- Use high temperature and a large nucleus threshold
- Randomize the temperature at every step
- Keep sampling enabled but increase top-p
- After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
- They remain assigned their original total mass below one
- They are replaced with equal probabilities
- They are renormalized over the retained top-k tokens
- They are converted into beam-search scores
- What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
- It always yields the most diverse human-like passages
- Bir dil modeline olan ihtiyacı ortadan kaldırır
- It guarantees factual correctness
- It can produce bland and repetitive text despite strong likelihood scores