VolgendeVolgende gids
Aggregatie van mengsels van agenten
Taal AI
Taal AI-GIDS
Met Mixture of Depths (MoD) kan een transformator verschillende hoeveelheden rekenkracht besteden aan verschillende tokens, waarbij alleen de 'belangrijke' tokens door de zware berekeningen van elke laag worden geleid.
Luister naar deze gidsAI-verteld · ~2 min
Het verlaagt de kosten voor het verwerken van eenvoudige tokens, terwijl een vast, voorspelbaar computerbudget behouden blijft.
Standaardtransformatoren passen elke laag op elk token toe, zelfs triviale zoals interpunctie. Mixture of Depths, geïntroduceerd door Google DeepMind in 2024, voegt een kleine router toe aan elk blok die een vaste top-k-fractie van tokens selecteert om de volledige zelfaandacht en MLP-berekening te ondergaan; de rest slaat het blok over via een restverbinding. Omdat er slechts k tokens per laag worden verwerkt, is de totale rekenkracht (FLOP's) van tevoren beperkt en bekend, in tegenstelling tot eerdere methoden met dynamische diepte die onvoorspelbaar varieerden. Dit maakt batching en hardwaregebruik efficiënt. Door MoD getrainde modellen kunnen de kwaliteit van een basistransformator evenaren met minder FLOP's per voorwaartse doorgang, of een hogere kwaliteit bereiken met dezelfde rekenkracht, en het idee ontstaat op natuurlijke wijze met Mixture-of-Experts om 'MoDE'-modellen te geven die zowel op diepte als breedte routeren.
Het verminderen van de FLOP's die nodig zijn om lange documenten te verwerken door diepgaande berekeningen op opvultokens over te slaan
Train een model dat overeenkomt met de basiskwaliteit bij een lagere rekenkracht, waardoor de servicekosten lager zijn
Combineren met Mixture-of-Experts (MoDE) om te routeren op zowel laagdiepte als expertkeuze
Het behouden van een voorspelbare, vaste latentie per token, omdat het rekenbudget per laag vooraf wordt vastgesteld
Voorwaardelijke berekening is een belangrijke hefboom voor efficiëntie naarmate modellen opschalen, en MoD is een vroeg, schoon voorbeeld. Verwacht een diepere integratie met Mixture-of-Experts (routing op zowel diepte als experts), adaptieve budgetten die kleiner worden voor gemakkelijke invoer, en geleerde routers die beter identificeren welke tokens echt diepgaande verwerking nodig hebben. Omdat inferentiekosten de implementatie-economie domineren, zullen technieken die modellen alleen 'harder laten nadenken' waar dat nodig is, terwijl de voorspelbare latentie behouden blijft, waarschijnlijk standaard worden in grootschalige architecturen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Met Mixture of Depths (MoD) kan een transformator verschillende hoeveelheden rekenkracht besteden aan verschillende tokens, waarbij alleen de 'belangrijke' tokens door de zware berekeningen van elke laag worden geleid. Het verlaagt de kosten voor het verwerken van eenvoudige tokens, terwijl een vast, voorspelbaar computerbudget behouden blijft.
MoD stuurt slechts enkele tokens door de zware berekeningen van elke laag, zodat verschillende tokens effectief verschillende diepte krijgen.
Door een vaste top-k aan tokens per blok te kiezen, worden FLOP's beperkt en worden de tensorvormen constant gehouden, wat hardwarevriendelijk is.
Niet-geselecteerde tokens omzeilen de berekening van het blok en worden onveranderd overgedragen via het resterende pad.
Mixture of Depths werd geïntroduceerd door Google DeepMind in een paper uit 2024 over dynamische transformatorcomputers.
Het combineren van diepterouting met expertrouting levert 'MoDE'-modellen op die de berekeningen op zowel lagen als experts conditioneren.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Aggregatie van mengsels van agenten
Taal AI