Gids-gekoppelde quiz · Moeilijk Niveau

Gedesaggregeerde quiz voor vooraf invullen en decoderen

Controleert knelpunten bij het vooraf invullen en decoderen, KV-cache-overdracht, fase-interferentie, afstemming van bronnen en opgesplitste bedieningssystemen.

Vraag 1 van 8

Wat is de belangrijkste hardwarereden voor het scheiden van vooraf invullen en decoderen op verschillende GPU-pools?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is de belangrijkste hardwarereden voor het scheiden van vooraf invullen en decoderen op verschillende GPU-pools?
    • Vooraf invullen is computergebonden, terwijl decodering geheugenbandbreedtegebonden is
    • Ze gebruiken verschillende programmeertalen
    • Decoderen vereist meer elektriciteit dan voorvullen
    • Prefill kan helemaal niet op GPU's worden uitgevoerd
  2. Welke gegevensstructuur moet worden overgedragen van prefill-werknemers naar decodeerwerknemers?
    • Het model weegt
    • De KV-cache (sleutelwaarde).
    • De tokenizer-vocabulaire
    • De optimalisatiestatus
  3. Welk probleem wordt door disaggregatie specifiek verminderd in een gedeelde GPU-opstelling?
    • GPU-stuurprogramma crasht
    • Netwerkpakketverlies op internet
    • Head-of-line-blokkering waarbij een lange voorvulling de decodering van anderen blokkeert
    • Modelhallucinatie
  4. Waarom kan vooraf vullen agressief in batches worden verwerkt, maar kunnen de voordelen van verschillende afstemmingen worden gedecodeerd?
    • Decoderen gebruikt nooit de GPU
    • Het voorvullen wordt slechts één keer per dag uitgevoerd
    • Tijdens het voorvullen is batching niet mogelijk
    • Prefill-tokens worden parallel gelezen, waardoor het computergebruik per doorgang wordt gemaximaliseerd
  5. Welke verbindingen worden doorgaans gebruikt om de KV-cache tussen opgesplitste pools te verplaatsen?
    • NVLink of InfiniBand
    • Inbelmodems
    • USB 2.0-kabels
    • Bluetooth
  6. Welke benoemde systemen zijn gekoppeld aan gedesaggregeerde prefill/decode-serving?
    • TCP, UDP en HTTP
    • DistServe, Splitwise en Mooncake
    • Word, Excel en PowerPoint
    • JPEG, PNG en GIF
  7. Waarom moet de KV-cache die tijdens het vooraf invullen wordt geproduceerd, beschikbaar zijn voor de decodeerwerkers?
    • Het bevat de optimalisatiestatus van het model
    • Het slaat de GPU-toewijzing van de gebruiker op
    • Decode maakt gebruik van in de cache opgeslagen promptsleutels en -waarden om volgende tokens te genereren zonder de hele prompt opnieuw te berekenen
    • Het is alleen nodig om de validatienauwkeurigheid te berekenen
  8. Wat is een voordeel bij het toewijzen van middelen aan het scheiden van prefill- en decodeerpools?
    • In beide fasen moeten identieke batchgroottes worden gebruikt
    • Het model heeft niet langer een KV-cache nodig
    • De planner kan alle netwerkcommunicatie elimineren
    • Elke fase kan worden gedimensioneerd en geparalleliseerd voor zijn eigen computer- of geheugenknelpunt