Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor modellering van lange contexten

Bekijk contextvensters, aandachtskosten, positiegevoelige retrieval, FlashAttention en evaluaties van effectief contextgebruik.

Gerelateerde gidspadenModellering van lange contexten
Vraag 1 van 8

Waarnaar verwijst het 'contextvenster' van een model?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarnaar verwijst het 'contextvenster' van een model?
    • Het maximale aantal tokens dat in één keer kan worden verwerkt
    • De schermgrootte van de chatinterface
    • Het aantal toegestane gebruikers tegelijk
    • Hoe lang het model is getraind
  2. Waarom wordt standaard zelfaandacht duur bij lange input?
    • Het groeit lineair en is altijd goedkoop
    • De rekenkracht en het geheugen groeien kwadratisch met de reekslengte
    • Het kan niet meer dan één token lezen
    • Het werkt alleen op afbeeldingen
  3. Wat is het ‘lost in the middle’-probleem?
    • Modellen vergeten hun training volledig
    • Modellen kunnen alleen het midden van een document lezen
    • Modellen herinneren zich informatie aan het begin en einde van een lange input beter dan feiten die in het midden verborgen liggen
    • Modellen vertalen het midden in een andere taal
  4. Wat verbetert FlashAttention vooral?
    • Het maakt de modeluitvoer langere tekst
    • Het voegt automatisch meer trainingsgegevens toe
    • Het neemt de noodzaak van enige aandacht weg
    • Het vermindert het geheugenknelpunt met een IO-bewuste, betegelde berekening
  5. Welke rol spelen roterende positie-inbedding (RoPE) in lange-contextmodellen?
    • Ze coderen tokenposities en helpen, met interpolatie, te generaliseren naar langere reeksen
    • Ze verwijderen tokens uit de invoer
    • Ze vertalen tekst tussen talen
    • Ze slaan de gewichten van het model op
  6. What does prompt-cache research reuse across compatible requests?
    • The final answer regardless of the new query
    • Computed attention state for reusable prompt segments
    • A fixed set of token IDs without model computation
    • The model’s training data
  7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
    • Alleen beeldclassificatie
    • Audio transcription from waveforms
    • Tasks such as multi-hop tracing and aggregation over long contexts
    • GPU memory allocation benchmarks
  8. Why test several task types when measuring a model’s effective context length?
    • Every task uses the same computation
    • The advertised window guarantees all tasks work
    • Task type never affects context use
    • A model may handle simple retrieval yet fail to combine or track information across a long input