Gids-gekoppelde quiz · Moeilijk Niveau

Aandachtsmechanismen Quiz

Test de aandacht van query-sleutel-waarde, softmax-schaling, parallelle koppen, hoge attentiekosten, berekeningen van gewogen waarden en causale maskering voor generatie.

Gerelateerde gidspadenAandachtsmechanismen
Vraag 1 van 8

Wat combineert symbolische aandacht bij het vormen van een uitvoerrepresentatie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat combineert symbolische aandacht bij het vormen van een uitvoerrepresentatie?
    • Permanente kopieën van het hele gesprek op schijf
    • Waarde-informatie van toegestane posities met behulp van berekende gewichten
    • Alleen handmatig gekozen trefwoorden zonder geleerde scores
    • Een vertaalwoordenboek dat elk ander token verwijdert
  2. Welk baanbrekend artikel uit 2017 introduceerde de transformatorarchitectuur?
    • 'Diep resterend leren voor beeldherkenning'
    • 'Atari spelen met Deep Reinforcement Learning'
    • 'Aandacht is alles wat je nodig hebt'
    • 'Generatieve vijandige netwerken'
  3. Wat zijn de drie vectoren die voor elk token in aandacht worden berekend?
    • Query, sleutel en waarde
    • Invoer, uitvoer en bias
    • Gemiddelde, mediaan en modus
    • Encoder, decoder en verlies
  4. Waarom delen we in de formule softmax(QK^T / √d_k) V door √d_k?
    • Om het resultaat om te zetten in gehele getallen
    • Om negatieve getallen te verwijderen
    • Om het model op een GPU te laten draaien
    • Om te voorkomen dat de dot-productscores vóór softmax te groot worden
  5. Waarom impliceert dichte zelfaandacht groeiend paarsgewijze werk voor zeer lange tokenreeksen?
    • Omdat het nieuwe gegevens van internet moet downloaden
    • Omdat langere tekst altijd zeldzamere woorden bevat
    • Omdat de kosten toenemen met het kwadraat van de reekslengte (O(n²))
    • Omdat het overschakelt naar een langzamere programmeertaal
  6. Welk vermogen biedt multi-head aandacht via afzonderlijke aangeleerde projecties?
    • Een garantie dat elk hoofd één unieke benoemde betekenis heeft
    • Verschillende aandachtsrepresentaties die verschillende relaties parallel kunnen vastleggen
    • Verwijdering van elke token-inbedding
    • Per definitie een verkleining van de woordenschat
  7. In een scalair aandachtsvoorbeeld krijgen de waarden twee en zes een gewicht van driekwart en een kwart. Wat is hun gewogen output?
    • Acht
    • Vier
    • Twee
    • Drie
  8. Wat voorkomt een causaal aandachtsmasker in een autoregressieve tekstdecoder?
    • Latere symbolische posities gebruiken bij het vormen van de representatie van de huidige positie
    • Met behulp van een eerder token
    • Het berekenen van elke zoekopdracht of sleutelvectoren
    • Alle modelparameters leren