Gids-gekoppelde quiz · Middelmatig Niveau
LLM Inferentieroutering en taakverdelingsquiz
Controleert replica- en modelroutering, cache-affiniteit, live telemetrie, variabele tokenkosten en latentiebewuste goodput voor LLM-inferentie.
Vraag 1 van 8
Waarom is gewone round-robin vaak een slechte taakverdelingsstrategie voor LLM-gevolgtrekking?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarom is gewone round-robin vaak een slechte taakverdelingsstrategie voor LLM-gevolgtrekking?
- Verzoeken variëren enorm in kosten en replica's bevatten sticky KV-caches
- In de meeste landen is het illegaal
- Round-robin werkt alleen voor databases
- Er is een GPU nodig om te kunnen werken
- Wat probeert 'prefix-cache affinity'-routering te bereiken?
- Elk verzoek naar een willekeurige GPU verzenden
- Een aanvraag routeren naar de replica die het promptvoorvoegsel al in de cache heeft opgeslagen
- De prompt coderen voordat deze wordt verzonden
- Het comprimeren van de modelgewichten
- Wat gebeurt er bij op moeilijkheden gebaseerde modelroutering doorgaans met een eenvoudige query?
- Het wordt afgewezen
- Het wordt verzonden naar het grootste beschikbare model
- Het wordt naar een klein, goedkoper model gestuurd
- Er staat 24 uur in de wachtrij
- Welk live signaal is het nuttigst voor een LLM-bewuste load balancer?
- De lengte van de hostnaam van de server
- De kleur van het rek
- Alleen de tijdzone van de gebruiker
- Wachtrijdiepte en KV-cachebezetting van elke replica
- Wat biedt een tool als LiteLLM in een opstelling met meerdere providers?
- Eén enkele proxy die balanceert en faalt tussen vele modelaanbieders
- Een nieuwe transformatorarchitectuur
- Een GPU-koelsysteem
- Een vervanging voor de tokenizer
- Waarom kan één verzoek met een lange uitvoer zwaarder wegen dan vele korte verzoeken voor het balanceren?
- Lange outputs gebruiken geen bronnen
- Elk uitvoertoken kost een volledige voorwaartse doorgang, dus de totale tokenbelasting is belangrijker dan het aantal verzoeken
- Korte verzoeken zijn altijd langzamer
- De router kan de uitvoerlengte helemaal niet zien
- Een weergavesysteem rapporteert goodput in plaats van het aantal onbewerkte verzoeken. Waar legt Goodput gewoonlijk de nadruk op?
- Het totale aantal modelparameters
- Alleen het aantal geopende HTTP-verbindingen
- Verzoeken die worden ingediend terwijl aan de opgegeven latentie- of serviceniveaudoelen wordt voldaan
- Het deel van de verzoeken dat het grootste model gebruikt
- Een gateway kiest eerst een klein of groot model en kiest vervolgens een replica van dat model. Wat zijn deze twee besluiten?
- Tokenisatie gevolgd door decodering
- Opleiding gevolgd door finetuning
- Voorvullen gevolgd door snelle constructie
- Modelroutering gevolgd door replica-taakverdeling