VolgendeVolgende gids
Positie-interpolatie voor contextextensie
Taal AI
Technische GIDS
YaRN (Nog een andere RoPE-extensioN) is een efficiënte techniek om het bruikbare contextvenster van een model veel verder uit te strekken dan waarop het is getraind.
Luister naar deze gidsAI-verteld · ~2 min
Het schaalt op slimme wijze de insluitingen van de draaiposities opnieuw, zodat een model dat is getraind op bijvoorbeeld 4K-tokens 32K of meer kan verwerken met minimale fijnafstemming.
De meeste moderne LLM's coderen tokenposities met RoPE (Rotary Position Embeddings), die query- en sleutelvectoren roteren volgens hoeken die aan de positie zijn gekoppeld. Wanneer u reeksen invoert die langer zijn dan de trainingslengte, komen deze rotaties in onzichtbare bereiken terecht en gaat het model kapot. YaRN, geïntroduceerd in 2023 door Bowen Peng en medewerkers, lost dit op met NTK-bewuste interpolatie toegepast per frequentie: het laat hoogfrequente dimensies (die lokale korteafstandsrelaties vastleggen) grotendeels onaangeroerd, terwijl laagfrequente dimensies worden geïnterpoleerd (die lange afstandspositie volgen). YaRN voegt ook een temperatuuraanpassing toe aan de aandacht om de entropieveranderingen die voortkomen uit langere contexten tegen te gaan. Het resultaat is een sterke prestatie op de lange context na het verfijnen van slechts een klein deel van de gegevens en stappen die naïeve benaderingen vereisen.
Uitbreiding van een open 4K-contextmodel naar 32K of 128K voor het beantwoorden van vragen over lange documenten met korte verfijning
Systemen met ophaalmogelijkheden in staat stellen veel aaneengeschakelde passages op te nemen zonder afkapping
Het aandrijven van code-assistenten die een volledig groot repositorybestand of meerdere bestanden in één prompt nodig hebben
Een basismodel aanpassen voor lange gesprekken met meerdere beurten die een grote chatgeschiedenis opleveren
Contextuitbreiding is nu de standaardpraktijk: open modellen verzenden routinematig YaRN-uitgebreide varianten die 128K-tokens of meer bereiken. Onderzoek beweegt zich in de richting van methoden die de context uitbreiden met nul of bijna nul verfijning, RoPE-herschaling combineren met aandachtspatroontrucs en de kwaliteit over het hele venster behouden in plaats van alleen aan de uiteinden. Verwacht een nauwere integratie van deze technieken in de vooropleiding, zodat de lange context native is en niet achteraf wordt aangepast.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
YaRN (Nog een andere RoPE-extensioN) is een efficiënte techniek om het bruikbare contextvenster van een model veel verder uit te strekken dan waarop het is getraind. Het schaalt op slimme wijze de insluitingen van de draaiposities opnieuw, zodat een model dat is getraind op bijvoorbeeld 4K-tokens 32K of meer kan verwerken met minimale fijnafstemming.
YaRN, waarvan de naam Nog een RoPE-extensie betekent, herschaalt de inbedding van de draaipositie die in de meeste moderne LLM's wordt gebruikt.
Posities buiten training produceren rotatiehoeken die het model nooit heeft gezien, waardoor het aandachtsgedrag sterk verslechtert.
YaRN maakt gebruik van een NTK-by-parts-ramp die laagfrequente dimmen met lange golflengte interpoleert en hoogfrequente dimmen met een kort bereik grotendeels intact laat.
YaRN voegt een temperatuurschaling toe aan aandachtslogits om entropieverschuivingen tegen te gaan die optreden naarmate de context groeit.
YaRN bereikt een sterke lange-contextkwaliteit na verfijning van een klein deel van de data-naïeve methoden die nodig zijn.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Positie-interpolatie voor contextextensie
Taal AI