Gids-gekoppelde quiz · Moeilijk Niveau
Aandachtsmechanismen Quiz
Test de aandacht van query-sleutel-waarde, softmax-schaling, parallelle koppen, hoge attentiekosten, berekeningen van gewogen waarden en causale maskering voor generatie.
Vraag 1 van 8
Wat combineert symbolische aandacht bij het vormen van een uitvoerrepresentatie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat combineert symbolische aandacht bij het vormen van een uitvoerrepresentatie?
- Permanente kopieën van het hele gesprek op schijf
- Waarde-informatie van toegestane posities met behulp van berekende gewichten
- Alleen handmatig gekozen trefwoorden zonder geleerde scores
- Een vertaalwoordenboek dat elk ander token verwijdert
- Welk baanbrekend artikel uit 2017 introduceerde de transformatorarchitectuur?
- 'Diep resterend leren voor beeldherkenning'
- 'Atari spelen met Deep Reinforcement Learning'
- 'Aandacht is alles wat je nodig hebt'
- 'Generatieve vijandige netwerken'
- Wat zijn de drie vectoren die voor elk token in aandacht worden berekend?
- Query, sleutel en waarde
- Invoer, uitvoer en bias
- Gemiddelde, mediaan en modus
- Encoder, decoder en verlies
- Waarom delen we in de formule softmax(QK^T / √d_k) V door √d_k?
- Om het resultaat om te zetten in gehele getallen
- Om negatieve getallen te verwijderen
- Om het model op een GPU te laten draaien
- Om te voorkomen dat de dot-productscores vóór softmax te groot worden
- Waarom impliceert dichte zelfaandacht groeiend paarsgewijze werk voor zeer lange tokenreeksen?
- Omdat het nieuwe gegevens van internet moet downloaden
- Omdat langere tekst altijd zeldzamere woorden bevat
- Omdat de kosten toenemen met het kwadraat van de reekslengte (O(n²))
- Omdat het overschakelt naar een langzamere programmeertaal
- Welk vermogen biedt multi-head aandacht via afzonderlijke aangeleerde projecties?
- Een garantie dat elk hoofd één unieke benoemde betekenis heeft
- Verschillende aandachtsrepresentaties die verschillende relaties parallel kunnen vastleggen
- Verwijdering van elke token-inbedding
- Per definitie een verkleining van de woordenschat
- In een scalair aandachtsvoorbeeld krijgen de waarden twee en zes een gewicht van driekwart en een kwart. Wat is hun gewogen output?
- Acht
- Vier
- Twee
- Drie
- Wat voorkomt een causaal aandachtsmasker in een autoregressieve tekstdecoder?
- Latere symbolische posities gebruiken bij het vormen van de representatie van de huidige positie
- Met behulp van een eerder token
- Het berekenen van elke zoekopdracht of sleutelvectoren
- Alle modelparameters leren