Gids-gekoppelde quiz · Middelmatig Niveau
Positionele interpolatie voor quiz met lange context
Controleert hoe positionele interpolatie RoPE-posities herschaalt, waarom extrapolatie de aandacht kan destabiliseren en wat de bron ervan heeft geëvalueerd.
Vraag 1 van 8
Wat is het kernidee achter positionele interpolatie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het kernidee achter positionele interpolatie?
- Nieuwe positie-indices in het bereik drukken waarop het model al was getraind
- Voor elke lengte train je een gloednieuw model
- Positionele informatie volledig verwijderen
- Tokens sorteren op belangrijkheid
- Waarom mislukt naïeve extrapolatie naar langere posities?
- Het gebruikt te weinig geheugen
- Het kan de aandachtsscores opblazen tot extreem grote, onstabiele waarden
- Het retourneert altijd hetzelfde token
- Het vereist een andere tokenizer
- Hoeveel verfijning was er ongeveer nodig voor het oorspronkelijke PI-werk om LLaMA uit te breiden naar 32K?
- Er is helemaal geen sprake van fine-tuning
- Ongeveer 1 miljoen stappen
- Ongeveer 1.000 stappen
- Een volledige voortraining
- Als je de context met een factor s uitbreidt, hoe transformeert PI dan een positie m?
- Het beeldt m af op m maal s
- Het brengt m in kaart in het kwadraat
- Het laat m onveranderd
- Het wijst m toe aan m gedeeld door s
- Hoe heeft PI latere methoden zoals YaRN beïnvloed?
- Het werd de basislijn waarop frequentiebewuste methoden werden verbeterd
- Het werd verlaten en nooit geciteerd
- Het verving de Transformer-architectuur
- Het is alleen van toepassing op afbeeldingsmodellen
- Op welke positiecodering is positionele interpolatie primair gericht?
- One-hot-coderingen
- RoPE (inbedding met roterende positie)
- Word2Vec-vectoren
- Een zak vol woorden telt
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000