Gids-gekoppelde quiz · Moeilijk Niveau
Gedesaggregeerde quiz voor vooraf invullen en decoderen
Controleert knelpunten bij het vooraf invullen en decoderen, KV-cache-overdracht, fase-interferentie, afstemming van bronnen en opgesplitste bedieningssystemen.
Vraag 1 van 8
Wat is de belangrijkste hardwarereden voor het scheiden van vooraf invullen en decoderen op verschillende GPU-pools?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is de belangrijkste hardwarereden voor het scheiden van vooraf invullen en decoderen op verschillende GPU-pools?
- Vooraf invullen is computergebonden, terwijl decodering geheugenbandbreedtegebonden is
- Ze gebruiken verschillende programmeertalen
- Decoderen vereist meer elektriciteit dan voorvullen
- Prefill kan helemaal niet op GPU's worden uitgevoerd
- Welke gegevensstructuur moet worden overgedragen van prefill-werknemers naar decodeerwerknemers?
- Het model weegt
- De KV-cache (sleutelwaarde).
- De tokenizer-vocabulaire
- De optimalisatiestatus
- Welk probleem wordt door disaggregatie specifiek verminderd in een gedeelde GPU-opstelling?
- GPU-stuurprogramma crasht
- Netwerkpakketverlies op internet
- Head-of-line-blokkering waarbij een lange voorvulling de decodering van anderen blokkeert
- Modelhallucinatie
- Waarom kan vooraf vullen agressief in batches worden verwerkt, maar kunnen de voordelen van verschillende afstemmingen worden gedecodeerd?
- Decoderen gebruikt nooit de GPU
- Het voorvullen wordt slechts één keer per dag uitgevoerd
- Tijdens het voorvullen is batching niet mogelijk
- Prefill-tokens worden parallel gelezen, waardoor het computergebruik per doorgang wordt gemaximaliseerd
- Welke verbindingen worden doorgaans gebruikt om de KV-cache tussen opgesplitste pools te verplaatsen?
- NVLink of InfiniBand
- Inbelmodems
- USB 2.0-kabels
- Bluetooth
- Welke benoemde systemen zijn gekoppeld aan gedesaggregeerde prefill/decode-serving?
- TCP, UDP en HTTP
- DistServe, Splitwise en Mooncake
- Word, Excel en PowerPoint
- JPEG, PNG en GIF
- Waarom moet de KV-cache die tijdens het vooraf invullen wordt geproduceerd, beschikbaar zijn voor de decodeerwerkers?
- Het bevat de optimalisatiestatus van het model
- Het slaat de GPU-toewijzing van de gebruiker op
- Decode maakt gebruik van in de cache opgeslagen promptsleutels en -waarden om volgende tokens te genereren zonder de hele prompt opnieuw te berekenen
- Het is alleen nodig om de validatienauwkeurigheid te berekenen
- Wat is een voordeel bij het toewijzen van middelen aan het scheiden van prefill- en decodeerpools?
- In beide fasen moeten identieke batchgroottes worden gebruikt
- Het model heeft niet langer een KV-cache nodig
- De planner kan alle netwerkcommunicatie elimineren
- Elke fase kan worden gedimensioneerd en geparalleliseerd voor zijn eigen computer- of geheugenknelpunt