Gids-gekoppelde quiz · Middelmatig Niveau

LLM Inferentieroutering en taakverdelingsquiz

Controleert replica- en modelroutering, cache-affiniteit, live telemetrie, variabele tokenkosten en latentiebewuste goodput voor LLM-inferentie.

Vraag 1 van 8

Waarom is gewone round-robin vaak een slechte taakverdelingsstrategie voor LLM-gevolgtrekking?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom is gewone round-robin vaak een slechte taakverdelingsstrategie voor LLM-gevolgtrekking?
    • Verzoeken variëren enorm in kosten en replica's bevatten sticky KV-caches
    • In de meeste landen is het illegaal
    • Round-robin werkt alleen voor databases
    • Er is een GPU nodig om te kunnen werken
  2. Wat probeert 'prefix-cache affinity'-routering te bereiken?
    • Elk verzoek naar een willekeurige GPU verzenden
    • Een aanvraag routeren naar de replica die het promptvoorvoegsel al in de cache heeft opgeslagen
    • De prompt coderen voordat deze wordt verzonden
    • Het comprimeren van de modelgewichten
  3. Wat gebeurt er bij op moeilijkheden gebaseerde modelroutering doorgaans met een eenvoudige query?
    • Het wordt afgewezen
    • Het wordt verzonden naar het grootste beschikbare model
    • Het wordt naar een klein, goedkoper model gestuurd
    • Er staat 24 uur in de wachtrij
  4. Welk live signaal is het nuttigst voor een LLM-bewuste load balancer?
    • De lengte van de hostnaam van de server
    • De kleur van het rek
    • Alleen de tijdzone van de gebruiker
    • Wachtrijdiepte en KV-cachebezetting van elke replica
  5. Wat biedt een tool als LiteLLM in een opstelling met meerdere providers?
    • Eén enkele proxy die balanceert en faalt tussen vele modelaanbieders
    • Een nieuwe transformatorarchitectuur
    • Een GPU-koelsysteem
    • Een vervanging voor de tokenizer
  6. Waarom kan één verzoek met een lange uitvoer zwaarder wegen dan vele korte verzoeken voor het balanceren?
    • Lange outputs gebruiken geen bronnen
    • Elk uitvoertoken kost een volledige voorwaartse doorgang, dus de totale tokenbelasting is belangrijker dan het aantal verzoeken
    • Korte verzoeken zijn altijd langzamer
    • De router kan de uitvoerlengte helemaal niet zien
  7. Een weergavesysteem rapporteert goodput in plaats van het aantal onbewerkte verzoeken. Waar legt Goodput gewoonlijk de nadruk op?
    • Het totale aantal modelparameters
    • Alleen het aantal geopende HTTP-verbindingen
    • Verzoeken die worden ingediend terwijl aan de opgegeven latentie- of serviceniveaudoelen wordt voldaan
    • Het deel van de verzoeken dat het grootste model gebruikt
  8. Een gateway kiest eerst een klein of groot model en kiest vervolgens een replica van dat model. Wat zijn deze twee besluiten?
    • Tokenisatie gevolgd door decodering
    • Opleiding gevolgd door finetuning
    • Voorvullen gevolgd door snelle constructie
    • Modelroutering gevolgd door replica-taakverdeling