Rehber bağlantılı sınav · Orta Seviye

Tekrarlama Cezası ve Kod Çözme Kontrolleri Testi

LLM oluşturma iş akışlarında örneklemeden önce logitlerin nasıl değiştiği de dahil olmak üzere sıcaklık, üst-k, üst-p ve tekrar cezalarını karşılaştırın.

Soru 1 arasında 8

'Sıcaklık' parametresini yükseltmek modelin çıktısına ne yapar?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. 'Sıcaklık' parametresini yükseltmek modelin çıktısına ne yapar?
    • Daha rastgele ve çeşitli hale getirir
    • Daha belirleyici ve odaklı hale getirir
    • Modelin ağırlıklarını kalıcı olarak değiştirir
    • Üretimi hızlandırır
  2. Top-p (çekirdek) örneklemesi hangi tokenlerin dikkate alınacağına nasıl karar verir?
    • Olasılığa bakılmaksızın sabit sayıda jeton tutar
    • Olasılıkları toplamı bir eşiğe eşit olan en küçük token setini tutar
    • Yalnızca en olası tek jetonu tutar
    • Tokenları %50'nin üzerinde olasılıkla tutar
  3. Tekrarlama cezası genellikle hangi aşamada devreye girer?
    • Nesilden sonraki ham metin üzerine
    • Eğitim verileri hakkında
    • Softmax'tan önceki logitlerde
    • Tokenizer sözlüğü hakkında
  4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
    • Belirteç sayımı ile mevcudiyet cezası ölçekleri; frekans cezası sabit
    • Onlar aynı
    • Her ikisi de yalnızca ilk jeton için geçerlidir
    • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
  5. For code completion where deterministic sampling is desired, which setting best matches the guide?
    • Sıfıra yakın sıcaklık
    • Çok yüksek sıcaklık
    • 2.0'ın üzerinde yüksek tekrarlama cezası
    • Yüksek sıcaklıkta en yüksek puan 1,0
  6. Top-k örnekleme ne işe yarar?
    • Belirteçlerin k olasılığına göre toplanmasını sağlar
    • Aday olarak yalnızca en olası k tokeni tutar
    • Tüm logitleri k ile çarpar
    • Eğitimden en az olası k jetonu kaldırır
  7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
    • It sets every repeated-token logit to zero
    • It adds the penalty to every token equally
    • It divides a positive logit by the penalty and multiplies a negative logit by it
    • It removes the token from the vocabulary permanently
  8. How does top-k differ from top-p sampling?
    • Top-k uses cumulative probability while top-p fixes a count
    • Top-k changes model weights while top-p changes the tokenizer
    • They are both deterministic decoding methods
    • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set