VolgendeVolgende gids
Lineaire aandacht en performer-kernels
Technisch
Taal AI-GIDS
RWKV is een architectuur die traint als een Transformer, maar gevolgtrekkingen uitvoert als een terugkerend netwerk, waardoor lineaire tijd en constante geheugengeneratie mogelijk is.
Luister naar deze gidsAI-verteld · ~2 min
Het herformuleert de aandacht, zodat er geen kwadratische kosten zijn en er geen groeiende sleutelwaarde-cache is.
RWKV (uitgesproken als 'RwaKuv') staat voor Receptie, Gewicht, Sleutel, Waarde, de vier kernelementen ervan. Het werd grotendeels gecreëerd als een open, gemeenschapsgedreven project onder leiding van Bo Peng. Het doel is om de parallelle trainbaarheid van Transformers te behouden en tegelijkertijd de dure gevolgtrekking ervan te elimineren. Standaardattentie slaat een sleutelwaardecache op die met elk token groeit en elk nieuw token vergelijkt met alle voorgaande. RWKV draagt in plaats daarvan een kleine verborgen status met een vaste grootte over en werkt deze bij met een tijdvervalregel, zodat oudere informatie soepel vervaagt. Tijdens de training kan het in een parallelliseerbare vorm worden uitgerold; tijdens het genereren fungeert het als een RNN die één token tegelijk produceert tegen constante kosten. Dit maakt het aantrekkelijk voor lange contexten en implementatie met beperkte middelen.
Het uitvoeren van capabele open-source chatmodellen op CPU's of apparaten met weinig geheugen met constant geheugen per token
Streaming van tekstgeneratie waarbij tokens één voor één worden geproduceerd zonder een groeiende cache
Verwerking van lange documenten waarbij de sleutelwaardecache van een Transformer onbetaalbaar groot zou zijn
Gemeenschaps- en meertalige modelprojecten die een efficiënte architectuur met open licentie nodig hebben
RWKV heeft snel versies doorlopen (v4, v5 Eagle, v6 Finch en hoger), waardoor de kwaliteitskloof met Transformers is verkleind en de lineaire kosten behouden zijn gebleven. Verwacht een aanhoudende groei in open meertalige modellen, edge- en CPU-implementatie waarbij constant geheugen belangrijk is, en hybride ontwerpen. De volledig terugkerende gevolgtrekking maakt het een sterke kandidaat voor streaming-applicaties en zeer lange contexten waarin caches met sleutelwaarden anders zouden exploderen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
RWKV is een architectuur die traint als een Transformer, maar gevolgtrekkingen uitvoert als een terugkerend netwerk, waardoor lineaire tijd en constante geheugengeneratie mogelijk is. Het herformuleert de aandacht, zodat er geen kwadratische kosten zijn en er geen groeiende sleutelwaarde-cache is.
Het ontwerpdoel van RWKV is parallelle training in Transformer-stijl, gecombineerd met terugkerende gevolgtrekkingen tegen constante kosten.
RWKV is vernoemd naar de vier componenten: Receptie, Gewicht, Sleutel en Waarde.
Net als een RNN werkt RWKV elke stap een status met een vaste grootte bij, zodat het geheugen niet meegroeit met de lengte van de reeks.
Het geleerde vervalgewicht per kanaal bepaalt hoe snel voorbije toetsen vervagen in de lopende staat.
Door een herhaling te gebruiken, omzeilt RWKV het vergelijken van elk token met elk ander token, waardoor de kwadratische kosten worden geëlimineerd.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Lineaire aandacht en performer-kernels
Technisch