Gids-gekoppelde quiz · Middelmatig Niveau

Herhalingsstraf en decoderingscontroles Quiz

Vergelijk temperatuur-, top-k-, top-p- en herhalingsboetes, inclusief hoe logits veranderen voordat er steekproeven worden genomen in workflows voor het genereren van LLM.

Vraag 1 van 8

Wat doet het verhogen van de parameter 'temperatuur' met de output van een model?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat doet het verhogen van de parameter 'temperatuur' met de output van een model?
    • Maakt het willekeuriger en diverser
    • Maakt het deterministischer en gerichter
    • Verandert permanent de gewichten van het model
    • Versnelt de generatie
  2. Hoe bepaalt top-p (nucleus) sampling welke tokens moeten worden overwogen?
    • Het houdt een vast aantal tokens bij, ongeacht de waarschijnlijkheid
    • Het houdt de kleinste set tokens bij waarvan de kansen samen een drempel vormen
    • Er wordt alleen het meest waarschijnlijke token bewaard
    • Het houdt tokens bij met een waarschijnlijkheid van meer dan 50%
  3. In welk stadium treedt doorgaans een herhalingsstraf op?
    • Op de ruwe tekst na generatie
    • Over de trainingsgegevens
    • Op de logits vóór de softmax
    • Over de tokenizer-vocabulaire
  4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
    • Aanwezigheidsstrafschalen met tokentelling; frequentiestraf is vlak
    • Ze zijn identiek
    • Beide zijn alleen van toepassing op het eerste token
    • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
  5. For code completion where deterministic sampling is desired, which setting best matches the guide?
    • Temperatuur bijna nul
    • Zeer hoge temperatuur
    • Hoge herhalingsstraf boven 2,0
    • Top-p van 1,0 met hoge temperatuur
  6. Wat doet top-k-sampling?
    • Houdt tokens opgeteld bij waarschijnlijkheid k
    • Houdt alleen de k meest waarschijnlijke tokens als kandidaten
    • Vermenigvuldigt alle logits met k
    • Verwijdert de k minst waarschijnlijke tokens uit de training
  7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
    • It sets every repeated-token logit to zero
    • It adds the penalty to every token equally
    • It divides a positive logit by the penalty and multiplies a negative logit by it
    • It removes the token from the vocabulary permanently
  8. How does top-k differ from top-p sampling?
    • Top-k uses cumulative probability while top-p fixes a count
    • Top-k changes model weights while top-p changes the tokenizer
    • They are both deterministic decoding methods
    • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set