Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zu Wiederholungsstrafen und Dekodierungskontrollen

Vergleichen Sie Temperatur-, Top-K-, Top-P- und Wiederholungsstrafen, einschließlich der Art und Weise, wie sich Protokolle vor der Stichprobenentnahme in LLM-Generierungsworkflows ändern.

Verwandte FührungspfadeWiederholungsstrafe und Dekodierungskontrollen
Frage 1 von 8

Welche Auswirkungen hat die Erhöhung des Parameters „Temperatur“ auf die Ausgabe eines Modells?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Welche Auswirkungen hat die Erhöhung des Parameters „Temperatur“ auf die Ausgabe eines Modells?
    • Macht es zufälliger und abwechslungsreicher
    • Macht es deterministischer und fokussierter
    • Ändert die Gewichte des Modells dauerhaft
    • Beschleunigt die Generierung
  2. Wie entscheidet das Top-P-(Kern-)Sampling, welche Token berücksichtigt werden?
    • Es behält unabhängig von der Wahrscheinlichkeit eine feste Anzahl von Token
    • Es behält den kleinsten Satz von Token, deren Wahrscheinlichkeiten sich zu einem Schwellenwert summieren
    • Es behält nur das wahrscheinlichste Token
    • Es behält Token mit einer Wahrscheinlichkeit von über 50 %
  3. In welchem Stadium greift eine Wiederholungsstrafe typischerweise?
    • Zum Rohtext nach der Generierung
    • Zu den Trainingsdaten
    • Auf den Protokollen vor dem Softmax
    • Zum Tokenizer-Vokabular
  4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
    • Anwesenheitsstrafe skaliert mit Token-Anzahl; Der Frequenznachteil ist flach
    • Sie sind identisch
    • Beides gilt nur für den ersten Token
    • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
  5. For code completion where deterministic sampling is desired, which setting best matches the guide?
    • Temperatur nahe Null
    • Sehr hohe Temperatur
    • Hohe Wiederholungsstrafe über 2,0
    • Top-p von 1,0 bei hoher Temperatur
  6. Was bewirkt Top-K-Sampling?
    • Sorgt dafür, dass die Token die Wahrscheinlichkeit k erreichen
    • Behält nur die k wahrscheinlichsten Token als Kandidaten bei
    • Multipliziert alle Logits mit k
    • Entfernt die k unwahrscheinlichsten Token aus dem Training
  7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
    • It sets every repeated-token logit to zero
    • It adds the penalty to every token equally
    • It divides a positive logit by the penalty and multiplies a negative logit by it
    • It removes the token from the vocabulary permanently
  8. How does top-k differ from top-p sampling?
    • Top-k uses cumulative probability while top-p fixes a count
    • Top-k changes model weights while top-p changes the tokenizer
    • They are both deterministic decoding methods
    • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set