Rehber bağlantılı sınav · Orta Seviye
Tekrarlama Cezası ve Kod Çözme Kontrolleri Testi
LLM oluşturma iş akışlarında örneklemeden önce logitlerin nasıl değiştiği de dahil olmak üzere sıcaklık, üst-k, üst-p ve tekrar cezalarını karşılaştırın.
Soru 1 arasında 8
'Sıcaklık' parametresini yükseltmek modelin çıktısına ne yapar?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- 'Sıcaklık' parametresini yükseltmek modelin çıktısına ne yapar?
- Daha rastgele ve çeşitli hale getirir
- Daha belirleyici ve odaklı hale getirir
- Modelin ağırlıklarını kalıcı olarak değiştirir
- Üretimi hızlandırır
- Top-p (çekirdek) örneklemesi hangi tokenlerin dikkate alınacağına nasıl karar verir?
- Olasılığa bakılmaksızın sabit sayıda jeton tutar
- Olasılıkları toplamı bir eşiğe eşit olan en küçük token setini tutar
- Yalnızca en olası tek jetonu tutar
- Tokenları %50'nin üzerinde olasılıkla tutar
- Tekrarlama cezası genellikle hangi aşamada devreye girer?
- Nesilden sonraki ham metin üzerine
- Eğitim verileri hakkında
- Softmax'tan önceki logitlerde
- Tokenizer sözlüğü hakkında
- In OpenAI’s text-generation API, how do presence and frequency penalties differ?
- Belirteç sayımı ile mevcudiyet cezası ölçekleri; frekans cezası sabit
- Onlar aynı
- Her ikisi de yalnızca ilk jeton için geçerlidir
- Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
- For code completion where deterministic sampling is desired, which setting best matches the guide?
- Sıfıra yakın sıcaklık
- Çok yüksek sıcaklık
- 2.0'ın üzerinde yüksek tekrarlama cezası
- Yüksek sıcaklıkta en yüksek puan 1,0
- Top-k örnekleme ne işe yarar?
- Belirteçlerin k olasılığına göre toplanmasını sağlar
- Aday olarak yalnızca en olası k tokeni tutar
- Tüm logitleri k ile çarpar
- Eğitimden en az olası k jetonu kaldırır
- With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
- It sets every repeated-token logit to zero
- It adds the penalty to every token equally
- It divides a positive logit by the penalty and multiplies a negative logit by it
- It removes the token from the vocabulary permanently
- How does top-k differ from top-p sampling?
- Top-k uses cumulative probability while top-p fixes a count
- Top-k changes model weights while top-p changes the tokenizer
- They are both deterministic decoding methods
- Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set