LegközelebbKövetkező útmutató
Seldon mag és következtetési grafikonok
Műszaki
Műszaki ÚTMUTATÓ
A vezérlőréteg, amely eldönti, hogy melyik modellreplikának, GPU-nak vagy háttérrendszernek kell kezelnie minden bejövő LLM-kérést, és hogyan terjessze el a forgalmat, hogy egyetlen szerver se legyen túlterhelve.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Jól elkészítve csökkenti a késleltetést és a költségeket; rosszul csinálja, időtúllépést és tétlen GPU-kat okoz.
Az LLM nagyarányú kiszolgálása azt jelenti, hogy sok replikát kell futtatni számos GPU-n, és a következtetési forgalom robbanásszerű és egyenetlen – a promptok hossza és nehézségi foka rendkívül eltérő. Egy útválasztó ül elöl, és a klasszikus körmérkőzésnél jóval gazdagabb jelek segítségével választ ki egy úti célt. A modern LLM-tudatos útválasztók figyelembe veszik a sormélységet, a KV-gyorsítótár foglaltságát, és azt, hogy a replika rendelkezik-e már egy megfelelő prompt előtaggal (prefix-cache affinitás), így a nyomon követési kérés oda érkezik, ahol a gyorsítótár található. Egyes útválasztók azt is kiválasztják, hogy melyik modellt használják – egyszerű lekérdezéseket küldenek egy olcsó kis modellnek, és nehéz lekérdezéseket küldenek egy nagyra (modell-útválasztás). A terheléselosztás ezután kiegyenlíti a nyomást a replikák között, hogy elkerülje a hotspotokat, betartsa a sebességkorlátokat, és alacsonyan tartsa a késleltetést, miközben maximalizálja az általános jó teljesítményt és a GPU kihasználtságát.
A chatbot-platform minden beszélgetést a KV-gyorsítótárát tároló replikához rögzít, így a további lépések elérik az előtag gyorsítótárát, és gyorsabban válaszolnak.
A RouteLLM-stílusú rendszerek egyszerű kérdéseket küldenek egy kis olcsó modellnek, és csak a keményeket továbbítanak egy határmodellhez, csökkentve a költségeket csekély minőségi veszteséggel.
A Kubernetes Gateway API következtetési bővítmény az élő GPU-sormélység és a gyorsítótár állapota alapján irányítja az útvonalakat, ahelyett, hogy egyszerű körbejárást végezne a podokon keresztül.
A LiteLLM a forgalmat a OpenAI, Anthropic és saját üzemeltetésű modelleken keresztül viszi át tartalék és a sebességkorlát-tudatos kiegyenlítéssel, amikor az egyik szolgáltató csökkenti.
Az útválasztás első osztályú, tanult összetevővé válik. Az olyan projektek, mint a Kubernetes Gateway API Inference Extension, a vLLM termelési verem és a LiteLLM/Envoy alapú útválasztók szabványosítják a gyorsítótár- és költségtudatos ütemezést. Több szemantikai és nehézség-alapú modell-útválasztásra (RouteLLM-stílus), SLA-vezérelt prioritási sorokra, több régióra és azonnali példányokra vonatkozó tudatosságra, valamint megerősített politikákra számíthat, amelyek valós időben egyensúlyba hozzák a késleltetést, az átviteli sebességet és a dollárköltséget, ahogy a modellek, az árak és a forgalom eltolódik.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A vezérlőréteg, amely eldönti, hogy melyik modellreplikának, GPU-nak vagy háttérrendszernek kell kezelnie minden bejövő LLM-kérést, és hogyan terjessze el a forgalmat, hogy egyetlen szerver se legyen túlterhelve. Jól elkészítve csökkenti a késleltetést és a költségeket; rosszul csinálja, időtúllépést és tétlen GPU-kat okoz.
Az LLM-kérelmek hosszában/költségében vadul különböznek egymástól, és a replika KV-gyorsítótára ragadóssá teszi a munkameneteket, így a háttérprogramok vakon ciklusa figyelmen kívül hagyja a gyorsítótár-affinitást és a valós terhelést.
Ha egy replika már tartalmazza a KV-gyorsítótárat egy megosztott előtaghoz, a nyomon követés odairányítása újrafelhasználja a gyorsítótárat az újraszámítás helyett, elmentve a számítást és a várakozási időt.
Az olyan modellrouterek, mint a RouteLLM, egyszerű lekérdezéseket küldenek egy olcsó kis modellnek, és lefoglalják a drága határmodelleket a kemény modelleknek, minimális minőségveszteséggel csökkentve a költségeket.
A valódi háttértelemetria – a függő tokenek, a köteg telítettsége, a gyorsítótár foglaltsága – sokkal jobban tükrözi a valódi terhelést, mint az egyszerű kérések száma.
A LiteLLM útválasztási proxyként működik a szolgáltatók között (OpenAI, Anthropic, saját üzemeltetésű), tartalék és sebességkorlát-tudatos kiegyenlítéssel.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Seldon mag és következtetési grafikonok
Műszaki