Kvíz spojený s průvodcem · Střední úroveň

Kvíz o penalizaci za opakování a dekódování

Porovnejte teplotní, top-k, top-p a penalizace za opakování, včetně toho, jak se logits mění před vzorkováním v pracovních postupech generování LLM.

Otázka 1 z 8

Co udělá zvýšení parametru 'teplota' s výstupem modelu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co udělá zvýšení parametru 'teplota' s výstupem modelu?
    • Dělá to náhodnější a rozmanitější
    • Dělá to determinističtější a soustředěnější
    • Trvale mění hmotnosti modelu
    • Urychluje generování
  2. Jak se top-p (jaderné) vzorkování rozhoduje, které tokeny vzít v úvahu?
    • Udržuje pevný počet tokenů bez ohledu na pravděpodobnost
    • Udržuje nejmenší sadu tokenů, jejichž pravděpodobnosti součet prahové hodnoty
    • Uchovává pouze jeden nejpravděpodobnější token
    • Udržuje tokeny s pravděpodobností nad 50 %
  3. V jaké fázi se trest za opakování obvykle uplatňuje?
    • Na surovém textu po generaci
    • Na tréninkových datech
    • Na logitech před softmaxem
    • O slovní zásobě tokenizeru
  4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
    • Stupnice trestů za přítomnost s počtem žetonů; frekvenční trest je plochý
    • Jsou totožné
    • Obojí platí pouze pro první token
    • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
  5. For code completion where deterministic sampling is desired, which setting best matches the guide?
    • Teplota blízko nule
    • Velmi vysoká teplota
    • Vysoký trest za opakování nad 2,0
    • Top-p 1,0 s vysokou teplotou
  6. Co dělá top-k vzorkování?
    • Udržuje součet tokenů na pravděpodobnost k
    • Jako kandidáty ponechá pouze k nejpravděpodobnějších tokenů
    • Vynásobí všechny logity k
    • Odebere z tréninku nejméně pravděpodobné žetony
  7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
    • It sets every repeated-token logit to zero
    • It adds the penalty to every token equally
    • It divides a positive logit by the penalty and multiplies a negative logit by it
    • It removes the token from the vocabulary permanently
  8. How does top-k differ from top-p sampling?
    • Top-k uses cumulative probability while top-p fixes a count
    • Top-k changes model weights while top-p changes the tokenizer
    • They are both deterministic decoding methods
    • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set