Gids-gekoppelde quiz · Middelmatig Niveau
Leraar forceren in reeksmodellen Quiz
Controleert hoe grondwaarheidsvoorvoegsels een sequentiedecoder trainen, hoe causale maskers parallelle training ondersteunen en waarom gevolgtrekking verschilt.
Vraag 1 van 8
Wat wordt tijdens het forceren van de leraar als invoer ingevoerd bij elke decodeerstap?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat wordt tijdens het forceren van de leraar als invoer ingevoerd bij elke decodeerstap?
- Het vorige teken van de grondwaarheid
- De eigen eerdere voorspelling van het model
- Een willekeurig teken
- Het uiteindelijke uitvoertoken
- Welk doel wordt tijdens de door de leraar gedwongen training gekoppeld aan de decoderinvoer y_(t−1)?
- Het vorige grondwaarheidsfiche
- Het volgende doeltoken y_t
- Een token dat is bemonsterd uit de validatieset
- De output met maximale waarschijnlijkheid van een eerdere trainingsrun
- De mismatch tussen de treintoetsen, veroorzaakt door het forceren van leraren, staat bekend als:
- Verdwijnende gradiënten
- Modus ineenstorting
- Blootstellingsbias
- Etiketlekkage
- Welk mechanisme zorgt er in een Transformer-decoder voor dat de door leraren gedwongen training parallel over verschillende posities heen loopt?
- Uitval
- Batch-normalisatie
- Straal zoeken
- Een causaal (vooruit)aandachtsmasker
- Waarom kan er op het moment van de conclusie geen gebruik worden gemaakt van het forceren van leraren?
- Er zijn geen toekomstige tokens met grondwaarheid om te voeden
- De verliesfunctie is niet beschikbaar
- De GPU is te traag
- Aandachtsmaskers zijn uitgeschakeld
- Welk verlies wordt doorgaans gebruikt bij elke stap tijdens de gedwongen training van de leraar?
- Gemiddelde kwadratische fout op onbewerkte logits
- Kruis-entropie tussen de voorspelde verdeling en het echte volgende token
- Scharnierverlies bij inbedding
- Verlies van cosinusgelijkenis
- De doelsequentie is ‘rood, blauw, groen’. Welk token wordt bij het forceren van de leraar verstrekt bij het trainen van de voorspelling van “groen”?
- De voorspelling van het model voor “groen”
- Het toekomstige token na “groen”
- Het vorige grondwaarheidsfiche “blauw”
- Een willekeurig bemonsterd vocabulaire-item
- Welke tokens moeten op decoderpositie t door een causaal aandachtsmasker worden geblokkeerd?
- De bronreeks
- Alle eerdere doelfiches
- De eigen invoer van de huidige positie
- Richt tokens op posities later dan t