Aufmerksamkeitsmechanismen-Quiz

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Was kombiniert die Token-Aufmerksamkeit bei der Bildung einer Ausgabedarstellung?
   • Permanente Kopien der gesamten Konversation auf der Festplatte
   • Wertinformationen von zulässigen Positionen unter Verwendung berechneter Gewichte
   • Nur manuell ausgewählte Schlüsselwörter ohne erlernte Bewertungen
   • Ein Übersetzungswörterbuch, das jedes andere Token entfernt
2. Welches wegweisende Papier aus dem Jahr 2017 stellte die Transformatorarchitektur vor?
   • „Deep Residual Learning für die Bilderkennung“
   • „Atari spielen mit Deep Reinforcement Learning“
   • „Aufmerksamkeit ist alles, was Sie brauchen“
   • „Generative gegnerische Netzwerke“
3. Welche drei Vektoren werden für jedes Aufmerksamkeits-Token berechnet?
   • Abfrage, Schlüssel und Wert
   • Input, Output und Bias
   • Mittelwert, Median und Modus
   • Encoder, Decoder und Verlust
4. Warum in der Formel softmax(QK^T / √d_k) V durch √d_k dividieren?
   • Um das Ergebnis in ganze Zahlen umzuwandeln
   • Um negative Zahlen zu entfernen
   • Damit das Modell auf einer GPU läuft
   • Um zu verhindern, dass die Skalarproduktwerte vor Softmax zu groß werden
5. Warum erfordert dichte Selbstaufmerksamkeit eine zunehmende paarweise Arbeit für sehr lange Token-Sequenzen?
   • Weil es neue Daten aus dem Internet herunterladen muss
   • Denn längerer Text enthält immer seltenere Wörter
   • Weil die Kosten mit dem Quadrat der Sequenzlänge (O(n²)) wachsen
   • Weil es zu einer langsameren Programmiersprache wechselt
6. Welche Kapazität bietet die Mehrkopfaufmerksamkeit durch separate erlernte Projektionen?
   • Eine Garantie dafür, dass jeder Kopf eine einzigartige benannte Bedeutung hat
   • Mehrere Aufmerksamkeitsdarstellungen, die verschiedene Zusammenhänge parallel erfassen können
   • Entfernung aller Token-Einbettungen
   • Per Definition eine Reduzierung des Wortschatzes
7. In einem Beispiel für skalare Aufmerksamkeit erhalten die Werte zwei und sechs die Gewichtungen drei Viertel und ein Viertel. Wie hoch ist ihr gewichteter Output?
   • Acht
   • Vier
   • Zwei
   • Drei
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters