Gids-gekoppelde quiz · Middelmatig Niveau

Leraar forceren in reeksmodellen Quiz

Controleert hoe grondwaarheidsvoorvoegsels een sequentiedecoder trainen, hoe causale maskers parallelle training ondersteunen en waarom gevolgtrekking verschilt.

Gerelateerde gidspadenLeraar forceert in reeksmodellen
Vraag 1 van 8

Wat wordt tijdens het forceren van de leraar als invoer ingevoerd bij elke decodeerstap?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat wordt tijdens het forceren van de leraar als invoer ingevoerd bij elke decodeerstap?
    • Het vorige teken van de grondwaarheid
    • De eigen eerdere voorspelling van het model
    • Een willekeurig teken
    • Het uiteindelijke uitvoertoken
  2. Welk doel wordt tijdens de door de leraar gedwongen training gekoppeld aan de decoderinvoer y_(t−1)?
    • Het vorige grondwaarheidsfiche
    • Het volgende doeltoken y_t
    • Een token dat is bemonsterd uit de validatieset
    • De output met maximale waarschijnlijkheid van een eerdere trainingsrun
  3. De mismatch tussen de treintoetsen, veroorzaakt door het forceren van leraren, staat bekend als:
    • Verdwijnende gradiënten
    • Modus ineenstorting
    • Blootstellingsbias
    • Etiketlekkage
  4. Welk mechanisme zorgt er in een Transformer-decoder voor dat de door leraren gedwongen training parallel over verschillende posities heen loopt?
    • Uitval
    • Batch-normalisatie
    • Straal zoeken
    • Een causaal (vooruit)aandachtsmasker
  5. Waarom kan er op het moment van de conclusie geen gebruik worden gemaakt van het forceren van leraren?
    • Er zijn geen toekomstige tokens met grondwaarheid om te voeden
    • De verliesfunctie is niet beschikbaar
    • De GPU is te traag
    • Aandachtsmaskers zijn uitgeschakeld
  6. Welk verlies wordt doorgaans gebruikt bij elke stap tijdens de gedwongen training van de leraar?
    • Gemiddelde kwadratische fout op onbewerkte logits
    • Kruis-entropie tussen de voorspelde verdeling en het echte volgende token
    • Scharnierverlies bij inbedding
    • Verlies van cosinusgelijkenis
  7. De doelsequentie is ‘rood, blauw, groen’. Welk token wordt bij het forceren van de leraar verstrekt bij het trainen van de voorspelling van “groen”?
    • De voorspelling van het model voor “groen”
    • Het toekomstige token na “groen”
    • Het vorige grondwaarheidsfiche “blauw”
    • Een willekeurig bemonsterd vocabulaire-item
  8. Welke tokens moeten op decoderpositie t door een causaal aandachtsmasker worden geblokkeerd?
    • De bronreeks
    • Alle eerdere doelfiches
    • De eigen invoer van de huidige positie
    • Richt tokens op posities later dan t