Quiz zur Langkontextmodellierung

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Worauf bezieht sich das „Kontextfenster“ eines Modells?
   • Die maximale Anzahl an Token, die in einem Durchgang bearbeitet werden können
   • Die Bildschirmgröße der Chat-Oberfläche
   • Die Anzahl der gleichzeitig zulässigen Benutzer
   • Wie lange wurde das Modell trainiert?
2. Warum wird normale Selbstaufmerksamkeit bei langen Eingaben teuer?
   • Es wächst linear und ist immer günstig
   • Seine Rechenleistung und sein Speicher wachsen quadratisch mit der Sequenzlänge
   • Es kann nicht mehr als ein Token lesen
   • Es funktioniert nur bei Bildern
3. Was ist das „Lost-in-the-Middle“-Problem?
   • Models vergessen ihr Training völlig
   • Modelle können nur die Mitte eines Dokuments lesen
   • Modelle erinnern sich besser an Informationen am Anfang und am Ende einer langen Eingabe als an Fakten, die in der Mitte vergraben sind
   • Modelle übersetzen die Mitte in eine andere Sprache
4. Was verbessert FlashAttention vor allem?
   • Dadurch gibt das Modell längeren Text aus
   • Es fügt automatisch weitere Trainingsdaten hinzu
   • Es macht jegliche Aufmerksamkeit überflüssig
   • Es reduziert den Speicherengpass durch eine IO-bewusste, gekachelte Berechnung
5. Welche Rolle spielen Rotary Position Embeddings (RoPE) in Long-Context-Modellen?
   • Sie kodieren Token-Positionen und helfen durch Interpolation bei der Verallgemeinerung auf längere Sequenzen
   • Sie löschen Token aus der Eingabe
   • Sie übersetzen Texte zwischen Sprachen
   • Sie speichern die Gewichte des Modells
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Nur Bildklassifizierung
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Der Aufgabentyp hat keinen Einfluss auf die Kontextverwendung
   • Ein Modell kann zwar einen einfachen Abruf bewältigen, es jedoch nicht schaffen, Informationen über eine lange Eingabe hinweg zu kombinieren oder zu verfolgen