VolgendeVolgende gids
Positie-interpolatie voor contextextensie
Taal AI
Technische GIDS
Positionele Interpolatie (PI) is een eenvoudige, invloedrijke techniek die het contextvenster van een Transformer uitbreidt door nieuwe positie-indices in het bereik te persen dat het model al kent.
Luister naar deze gidsAI-verteld · ~2 min
In plaats van te extrapoleren naar onzichtbare posities, interpoleert het binnen getrainde posities, waardoor slechts een korte verfijning nodig is.
Positional Interpolation, geïntroduceerd door Meta onderzoekers (Chen et al.) in 2023, pakt het feit aan dat modellen met RoPE catastrofaal falen bij het extrapoleren naar posities die verder gaan dan training. Dit inzicht is contra-intuïtief: in plaats van het model te vragen grotere positiewaarden te verwerken die het nog nooit heeft gezien, deelt PI binnenkomende positie-indices door een schaalfactor, zodat een doellengte van bijvoorbeeld 8K teruggaat naar het oorspronkelijke 2K-bereik. Omdat het model op dat bereik is getraind, blijven de rotaties verdeeld. Na slechts 1.000 stappen voor fijnafstelling kon een op deze manier uitgebreid LLaMA-model een context van maximaal 32K aan. Het artikel toonde aan dat extrapolatie de aandachtsscores kan opdrijven tot enorme waarden, terwijl interpolatie deze begrensd en stabiel houdt. Daarom werkt interpolatie dramatisch beter dan extrapolatie.
Uitbreiding van een LLaMA-model met 2K-context om 8K-32K-tokens te verwerken met ongeveer 1.000 verfijningsstappen
Een bestaand chatmodel aanpassen voor het samenvatten van lange documenten zonder dat u het helemaal opnieuw hoeft te trainen
Dient als de conceptuele basis waarop NTK-bewuste schaling en YaRN kunnen verbeteren
Maakt analyse van lange contextcode of juridische documenten mogelijk op modellen die oorspronkelijk met korte vensters zijn getraind
Positionele interpolatie werd de basis voor een golf van vervolgacties, waaronder NTK-bewuste schaling en YaRN, die selectiever interpoleren om lokale details te behouden. Het traject gaat in de richting van methoden die weinig of geen verfijning behoeven en in de richting van het verwerken van lange-contexthandelingen in de voortraining. PI blijft een waardevolle basislijn en wordt vaak gecombineerd met nieuwere frequentiebewuste schema's om efficiënt contextvensters van meer dan 128K te bereiken.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Positionele Interpolatie (PI) is een eenvoudige, invloedrijke techniek die het contextvenster van een Transformer uitbreidt door nieuwe positie-indices in het bereik te persen dat het model al kent. In plaats van te extrapoleren naar onzichtbare posities, interpoleert het binnen getrainde posities, waardoor slechts een korte verfijning nodig is.
PI deelt positie-indices door een schaalfactor, zodat langere reeksen teruggaan naar het getrainde positiebereik, waardoor de rotaties verdeeld blijven.
Het PI-papier toonde aan dat onzichtbare grote posities aandachtsscores kunnen opleveren die ordes van grootte groter zijn dan training, waardoor softmax wordt gedestabiliseerd.
De krant meldde dat ongeveer 1.000 verfijningsstappen voldoende waren om de context uit te breiden tot 32.000 tokens.
PI herschaalt positie m naar m/s, waardoor het nieuwe grotere bereik wordt gecomprimeerd tot het oorspronkelijke getrainde bereik.
PI stelde interpolatie vast als de veilige benadering; NTK-bewuste schaling en YaRN verfijnden het door frequenties selectiever te interpoleren.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Positie-interpolatie voor contextextensie
Taal AI