LegközelebbKövetkező útmutató
Felhőköltség-optimalizálás ML-munkaterhelésekhez
Műszaki
Műszaki ÚTMUTATÓ
A saját üzemeltetésű LLM teljes tulajdonlási költsége (TCO) annyi, mint amennyibe egy nyitott súlyú modell saját vagy bérelt hardveren való futtatása kerül.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez magában foglalja a GPU-kat, az áramellátást, a hálózatokat, a szoftvereket, a mérnöki személyzetet, az üresjárati kapacitást és a frissítéseket, nem csak a GPU-k árát. Ennek az összegnek a tokenenkénti API-árazásával való összehasonlítása megmutatja, hogy az önálló üzemeltetés valóban pénzt takarít-e meg. A válasz általában attól függ, hogy a hardver az idő nagy részében elfoglalt.
Az öntárolás azt jelenti, hogy letölt egy nyitott súlyú modellt, például egy Llama, Mistral, Qwen vagy Gemma változatot, és kiszolgálja az Ön által irányított infrastruktúrán. Ezek lehetnek az Ön tulajdonában lévő szerverek vagy a felhőben bérelt GPU-k. Lehet, hogy a súlyok ingyenesen letölthetők, de futtatni nem. A teljes tulajdonlási költség több rétegből áll: - **Hardver.** A vásárolt GPU-k értékcsökkenése néhány év alatt történik. A bérelt GPU-kat óránként számlázzuk ki, függetlenül attól, hogy elfoglaltak vagy tétlenek. A saját hardvernek áramra, hűtésre, rack-területre és hálózatra is szüksége van. - **Szoftver és műveletek.** Olyan következtetési szerverre van szüksége, mint a vLLM, az SGLang vagy a NVIDIA TensorRT-LLM. Szükség van továbbá terheléselosztásra, figyelésre, naplózásra, biztonsági szigorításra és redundanciára, hogy egy meghibásodott csomópont ne vegye le a szolgáltatást. - **Személyzet.** Gyakran ez a legnagyobb rejtett költség: mérnökök, akik telepítik, behangolják, javítják és frissítik a veremet, plusz egy ügyeletes. - **Frissítések.** Gyakran érkeznek új modellek. Minden migráció újraértékelést, újrahangolást és néha új hardver vásárlását jelenti. A felhasználás dönti el az eredményt. Egy API csak az Ön által használt tokenekért számít fel díjat. Egy önkiszolgáló GPU ugyanannyiba kerül, akár egy kérést, akár több ezer kérést szolgál ki. A tokenenkénti tényleges költség a teljes havi költség osztva a ténylegesen kiszolgált tokenek számával. Egy kevéssé használt fürt tokenenként sokkal többe kerülhet, mint egy API, míg egy folyamatosan betöltött fürt sokkal kevesebbe kerülhet. Három tévhit gyakori. Az első az, hogy a GPU bérleti díja és az óra megegyezik a költséggel, ami figyelmen kívül hagyja a személyzetet és az üresjárati időt. A második az, hogy a nyitott súlyok szabadot jelentenek. A harmadik az, hogy a saját üzemeltetés automatikusan privátabb. Egy rosszul védett szerver kockázatosabb lehet, mint egy auditált ellenőrzésekkel rendelkező szolgáltató. Jó okok indokolják az önálló tárolást: - az adatok ellenőrzése - előrelátható költségek magas, állandó mennyiség mellett - testreszabás finomhangolással - mentesség attól, hogy a szolgáltató módosítson vagy visszavonjon egy modellt
Egy vállalat GPU-kat bérel, hogy kiszolgáljon egy 70 milliárdos paraméterű modellt egy belső asszisztens számára. A forgalom csak a munkaidőben érkezik, így a GPU-k a legtöbb éjszaka tétlenül állnak, és minden token többe kerül, mint a lecserélt API.
Az a bank, amelynek belső szabályzata megköveteli, hogy az érzékeny adatok az infrastruktúrán maradjanak, saját adatközpontjában egy közepes méretű nyílt modellt irányít. Az ellenőrzésért cserébe magasabb költséget fogad el.
Egy éjjel-nappal futó dokumentum-osztályozási folyamat egy kis kvantált modellt szolgál ki egyetlen GPU-n folyamatos kötegelés mellett. A tokenenkénti költsége jóval az API-díjak alatt marad.
Az indítási költségkeret csak felhőalapú GPU-kölcsönzésre vonatkozik. Később úgy találja, hogy ügyeletes mérnökre van szüksége a szolgáltatáskimaradások, a felügyelet, a biztonsági javítások és a modellfrissítések kezeléséhez, és a személyzeti költségek meghaladják a hardverszámlát.
Az öntárhely számítása mindkét irányban halad. A nyitott súlyú modellek képességesebbé váltak, a kvantálás és a hatékony kiszolgálószoftver pedig lehetővé teszi, hogy a kisebb hardverek hasznos munkaterheléseket kezeljenek. Ugyanakkor az API árak csökkentek, és a felügyelt szolgáltatások egyre gyakrabban tartalmaznak nyitott modelleket tokenenkénti díj ellenében, ami eltávolítja a műveleti terhek nagy részét. Sok szervezetnél a valószínűsíthető minta hibrid: API-k a kiugró vagy határokon átnyúló munkaterhelésekhez, és önálló üzemeltetés a folyamatos, nagy volumenű vagy érzékeny szervezetekhez. Kezelje a döntést rendszeres felülvizsgálatnak, ne egyszeri választásnak. A hardvergenerációk, a modellkiadások és az árak egy tipikus amortizációs időszakon belül változnak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A saját üzemeltetésű LLM teljes tulajdonlási költsége (TCO) annyi, mint amennyibe egy nyitott súlyú modell saját vagy bérelt hardveren való futtatása kerül. Ez magában foglalja a GPU-kat, az áramellátást, a hálózatokat, a szoftvereket, a mérnöki személyzetet, az üresjárati kapacitást és a frissítéseket, nem csak a GPU-k árát. Ennek az összegnek a tokenenkénti API-árazásával való összehasonlítása megmutatja, hogy az önálló üzemeltetés valóban pénzt takarít meg. A válasz általában attól függ, hogy a hardver az idő nagy részében elfoglalt.
Paraméterenként 16 bit (2 bájt) esetén 70 milliárd × 2 bájt körülbelül 140 GB. Ez több, mint egyetlen 80 GB-os GPU, mielőtt bármilyen KV gyorsítótárat hozzáadnánk.
Ha elosztja az összes havi költséget, beleértve a személyzetet és az üresjárati kapacitást is, a ténylegesen kiszolgált tokenek számával, így közvetlenül összehasonlítható az API tokenenkénti áraival.
Az API csak a használatért számláz, de a saját üzemeltetésű hardver és a személyzet terheléstől függetlenül ugyanannyiba kerül. Az alacsony kihasználtság ezeket a fix költségeket kevesebb token között osztja el.
A költségvetés gyakran csak hardvert számít. Egy megbízható következtetési szolgáltatás futtatása tervezési időt vesz igénybe, és ez a munka meghaladhatja a GPU-számlát.
A KV gyorsítótár figyelemkulcsokat és értékeket tárol az aktív kérésekhez. Hosszabb kontextusokhoz és több egyidejű felhasználónak több kell belőle.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Felhőköltség-optimalizálás ML-munkaterhelésekhez
Műszaki