VolgendeVolgende gids
LLM Inferentieroutering en taakverdeling
Technisch
Technische GIDS
Met Gating en routing kan een neuraal netwerk alleen de onderdelen activeren die het nodig heeft voor elke invoer, in plaats van dat het hele model elke keer moet worden uitgevoerd.
Luister naar deze gidsAI-verteld · ~2 min
This decouples model size from compute cost, enabling enormous models that stay fast and cheap to run.
Voorwaardelijke berekening betekent dat het netwerk data-afhankelijke beslissingen neemt over welke submodules moeten worden gebruikt. Een klein geleerd 'gating'- of 'router'-netwerk kijkt naar elke invoer (vaak elk token) en produceert scores waarbij wordt geselecteerd naar welke 'experts' deze moet worden gestuurd. In een Mixture-of-Experts (MoE)-laag bestaan tientallen of honderden subnetwerken van experts, maar de router kiest alleen de bovenste één of twee per token, zodat de meeste experts inactief blijven voor een bepaalde invoer. Het resultaat is een model met een enorm totaal aantal parameters, maar een klein aantal actieve parameters, waardoor de representatieve kracht van een gigantisch model ontstaat tegen de runtimekosten van een veel kleiner model. Dit is de manier waarop modellen als de Switch Transformer, GLaM en vele grote taalmodellen op een betaalbare manier naar biljoenen parameters kunnen schalen.
De Switch Transformer stuurt elk token naar één expert, schaalt naar meer dan een biljoen parameters terwijl de rekenkracht per token laag blijft.
Grensoverschrijdende grote taalmodellen die gebruik maken van Mixture-of-Experts-lagen, zodat slechts een fractie van de gewichten per token wordt geactiveerd.
Vroegtijdige beeldclassificatoren die stoppen bij een ondiepe laag voor eenvoudige afbeeldingen en alleen dieper gaan voor moeilijke afbeeldingen.
Meertalige modellen waarvan de routers leren tokens uit verschillende talen naar verschillende gespecialiseerde experts te sturen.
Sparse gating staat nu centraal bij het opschalen van grensmodellen, en de trend is richting fijnmazige experts, slimmere routers en routering op meerdere lagen. Verwacht betere technieken voor stabiele training, verminderde communicatieoverhead wanneer experts over veel accelerators zijn verspreid, en 'expertspecialisatie'-analyse om te begrijpen wat elke expert leert. Voorwaardelijke berekeningen verspreiden zich ook buiten MoE naar early-exit-netwerken en modellen met dynamische diepte die alleen meer rekenkracht besteden aan hardere inputs.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Met Gating en routing kan een neuraal netwerk alleen de onderdelen activeren die het nodig heeft voor elke invoer, in plaats van dat het hele model elke keer moet worden uitgevoerd. Hierdoor wordt de modelgrootte losgekoppeld van de computerkosten, waardoor enorme modellen mogelijk worden die snel en goedkoop te gebruiken zijn.
The guide defines data-dependent selection of submodules as conditional computation.
The guide says a learned router selects experts based on its input.
Sparse routing can activate only part of the total parameter set per input.
The guide explains that most experts can remain idle for a particular token.
The guide notes routers can favor a few experts, leaving others underused.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
LLM Inferentieroutering en taakverdeling
Technisch