Quiz dotyczący kar za powtarzanie i kontroli dekodowania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki wpływ na wynik modelu ma podniesienie parametru „temperatura”?
   • Sprawia, że jest bardziej losowy i różnorodny
   • Czyni go bardziej deterministycznym i skoncentrowanym
   • Trwale zmienia wagę modelu
   • Przyspiesza generowanie
2. W jaki sposób próbkowanie top-p (jądro) decyduje, które tokeny należy wziąć pod uwagę?
   • Utrzymuje stałą liczbę żetonów niezależnie od prawdopodobieństwa
   • Przechowuje najmniejszy zestaw tokenów, których prawdopodobieństwa sumują się do progu
   • Zatrzymuje tylko jeden najbardziej prawdopodobny token
   • Przechowuje tokeny z prawdopodobieństwem powyżej 50%
3. Na jakim etapie zazwyczaj działa kara za powtórzenie?
   • Na surowym tekście po pokoleniu
   • Na danych treningowych
   • Na logitach przed softmaxem
   • O słownictwie tokenizera
4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
   • Skala kar za obecność z liczbą żetonów; kara za częstotliwość jest płaska
   • Są identyczne
   • Obydwa dotyczą tylko pierwszego tokena
   • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
5. For code completion where deterministic sampling is desired, which setting best matches the guide?
   • Temperatura bliska zera
   • Bardzo wysoka temperatura
   • Wysoka kara za powtarzanie powyżej 2,0
   • Top-p 1,0 przy wysokiej temperaturze
6. Do czego służy próbkowanie top-k?
   • Utrzymuje żetony sumujące się do prawdopodobieństwa k
   • Zatrzymuje jako kandydatów tylko k najbardziej prawdopodobnych żetonów
   • Mnoży wszystkie logity przez k
   • Usuwa k najmniej prawdopodobne żetony z treningu
7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
   • It sets every repeated-token logit to zero
   • It adds the penalty to every token equally
   • It divides a positive logit by the penalty and multiplies a negative logit by it
   • It removes the token from the vocabulary permanently
8. How does top-k differ from top-p sampling?
   • Top-k uses cumulative probability while top-p fixes a count
   • Top-k changes model weights while top-p changes the tokenizer
   • They are both deterministic decoding methods
   • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set