Gids-gekoppelde quiz · Middelmatig Niveau

Positionele interpolatie voor quiz met lange context

Controleert hoe positionele interpolatie RoPE-posities herschaalt, waarom extrapolatie de aandacht kan destabiliseren en wat de bron ervan heeft geëvalueerd.

Vraag 1 van 8

Wat is het kernidee achter positionele interpolatie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het kernidee achter positionele interpolatie?
    • Nieuwe positie-indices in het bereik drukken waarop het model al was getraind
    • Voor elke lengte train je een gloednieuw model
    • Positionele informatie volledig verwijderen
    • Tokens sorteren op belangrijkheid
  2. Waarom mislukt naïeve extrapolatie naar langere posities?
    • Het gebruikt te weinig geheugen
    • Het kan de aandachtsscores opblazen tot extreem grote, onstabiele waarden
    • Het retourneert altijd hetzelfde token
    • Het vereist een andere tokenizer
  3. Hoeveel verfijning was er ongeveer nodig voor het oorspronkelijke PI-werk om LLaMA uit te breiden naar 32K?
    • Er is helemaal geen sprake van fine-tuning
    • Ongeveer 1 miljoen stappen
    • Ongeveer 1.000 stappen
    • Een volledige voortraining
  4. Als je de context met een factor s uitbreidt, hoe transformeert PI dan een positie m?
    • Het beeldt m af op m maal s
    • Het brengt m in kaart in het kwadraat
    • Het laat m onveranderd
    • Het wijst m toe aan m gedeeld door s
  5. Hoe heeft PI latere methoden zoals YaRN beïnvloed?
    • Het werd de basislijn waarop frequentiebewuste methoden werden verbeterd
    • Het werd verlaten en nooit geciteerd
    • Het verving de Transformer-architectuur
    • Het is alleen van toepassing op afbeeldingsmodellen
  6. Op welke positiecodering is positionele interpolatie primair gericht?
    • One-hot-coderingen
    • RoPE (inbedding met roterende positie)
    • Word2Vec-vectoren
    • Een zak vol woorden telt
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000