Műszaki ÚTMUTATÓ

A saját üzemeltetésű LLM-ek teljes tulajdonlási költsége

A saját üzemeltetésű LLM teljes tulajdonlási költsége (TCO) annyi, mint amennyibe egy nyitott súlyú modell saját vagy bérelt hardveren való futtatása kerül.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A saját üzemeltetésű LLM-ek teljes tulajdonlási költségének jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez magában foglalja a GPU-kat, az áramellátást, a hálózatokat, a szoftvereket, a mérnöki személyzetet, az üresjárati kapacitást és a frissítéseket, nem csak a GPU-k árát. Ennek az összegnek a tokenenkénti API-árazásával való összehasonlítása megmutatja, hogy az önálló üzemeltetés valóban pénzt takarít-e meg. A válasz általában attól függ, hogy a hardver az idő nagy részében elfoglalt.

Mély merülés

Az öntárolás azt jelenti, hogy letölt egy nyitott súlyú modellt, például egy Llama, Mistral, Qwen vagy Gemma változatot, és kiszolgálja az Ön által irányított infrastruktúrán. Ezek lehetnek az Ön tulajdonában lévő szerverek vagy a felhőben bérelt GPU-k. Lehet, hogy a súlyok ingyenesen letölthetők, de futtatni nem. A teljes tulajdonlási költség több rétegből áll: - **Hardver.** A vásárolt GPU-k értékcsökkenése néhány év alatt történik. A bérelt GPU-kat óránként számlázzuk ki, függetlenül attól, hogy elfoglaltak vagy tétlenek. A saját hardvernek áramra, hűtésre, rack-területre és hálózatra is szüksége van. - **Szoftver és műveletek.** Olyan következtetési szerverre van szüksége, mint a vLLM, az SGLang vagy a NVIDIA TensorRT-LLM. Szükség van továbbá terheléselosztásra, figyelésre, naplózásra, biztonsági szigorításra és redundanciára, hogy egy meghibásodott csomópont ne vegye le a szolgáltatást. - **Személyzet.** Gyakran ez a legnagyobb rejtett költség: mérnökök, akik telepítik, behangolják, javítják és frissítik a veremet, plusz egy ügyeletes. - **Frissítések.** Gyakran érkeznek új modellek. Minden migráció újraértékelést, újrahangolást és néha új hardver vásárlását jelenti. A felhasználás dönti el az eredményt. Egy API csak az Ön által használt tokenekért számít fel díjat. Egy önkiszolgáló GPU ugyanannyiba kerül, akár egy kérést, akár több ezer kérést szolgál ki. A tokenenkénti tényleges költség a teljes havi költség osztva a ténylegesen kiszolgált tokenek számával. Egy kevéssé használt fürt tokenenként sokkal többe kerülhet, mint egy API, míg egy folyamatosan betöltött fürt sokkal kevesebbe kerülhet. Három tévhit gyakori. Az első az, hogy a GPU bérleti díja és az óra megegyezik a költséggel, ami figyelmen kívül hagyja a személyzetet és az üresjárati időt. A második az, hogy a nyitott súlyok szabadot jelentenek. A harmadik az, hogy a saját üzemeltetés automatikusan privátabb. Egy rosszul védett szerver kockázatosabb lehet, mint egy auditált ellenőrzésekkel rendelkező szolgáltató. Jó okok indokolják az önálló tárolást: - az adatok ellenőrzése - előrelátható költségek magas, állandó mennyiség mellett - testreszabás finomhangolással - mentesség attól, hogy a szolgáltató módosítson vagy visszavonjon egy modellt

Valós megvalósítás

Egy vállalat GPU-kat bérel, hogy kiszolgáljon egy 70 milliárdos paraméterű modellt egy belső asszisztens számára. A forgalom csak a munkaidőben érkezik, így a GPU-k a legtöbb éjszaka tétlenül állnak, és minden token többe kerül, mint a lecserélt API.

Az a bank, amelynek belső szabályzata megköveteli, hogy az érzékeny adatok az infrastruktúrán maradjanak, saját adatközpontjában egy közepes méretű nyílt modellt irányít. Az ellenőrzésért cserébe magasabb költséget fogad el.

Egy éjjel-nappal futó dokumentum-osztályozási folyamat egy kis kvantált modellt szolgál ki egyetlen GPU-n folyamatos kötegelés mellett. A tokenenkénti költsége jóval az API-díjak alatt marad.

Az indítási költségkeret csak felhőalapú GPU-kölcsönzésre vonatkozik. Később úgy találja, hogy ügyeletes mérnökre van szüksége a szolgáltatáskimaradások, a felügyelet, a biztonsági javítások és a modellfrissítések kezeléséhez, és a személyzeti költségek meghaladják a hardverszámlát.

A saját üzemeltetésű LLM-ek teljes tulajdonlási költségének jövője

Az öntárhely számítása mindkét irányban halad. A nyitott súlyú modellek képességesebbé váltak, a kvantálás és a hatékony kiszolgálószoftver pedig lehetővé teszi, hogy a kisebb hardverek hasznos munkaterheléseket kezeljenek. Ugyanakkor az API árak csökkentek, és a felügyelt szolgáltatások egyre gyakrabban tartalmaznak nyitott modelleket tokenenkénti díj ellenében, ami eltávolítja a műveleti terhek nagy részét. Sok szervezetnél a valószínűsíthető minta hibrid: API-k a kiugró vagy határokon átnyúló munkaterhelésekhez, és önálló üzemeltetés a folyamatos, nagy volumenű vagy érzékeny szervezetekhez. Kezelje a döntést rendszeres felülvizsgálatnak, ne egyszeri választásnak. A hardvergenerációk, a modellkiadások és az árak egy tipikus amortizációs időszakon belül változnak.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Total Cost of Ownership for Self-Hosted LLMs quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mennyi a saját üzemeltetésű LLM-ek teljes tulajdonlási költsége?

A saját üzemeltetésű LLM teljes tulajdonlási költsége (TCO) annyi, mint amennyibe egy nyitott súlyú modell saját vagy bérelt hardveren való futtatása kerül. Ez magában foglalja a GPU-kat, az áramellátást, a hálózatokat, a szoftvereket, a mérnöki személyzetet, az üresjárati kapacitást és a frissítéseket, nem csak a GPU-k árát. Ennek az összegnek a tokenenkénti API-árazásával való összehasonlítása megmutatja, hogy az önálló üzemeltetés valóban pénzt takarít meg. A válasz általában attól függ, hogy a hardver az idő nagy részében elfoglalt.

Körülbelül mennyi memória kell egy 70 milliárd paraméteres modell súlyához 16 bites pontossággal?

Paraméterenként 16 bit (2 bájt) esetén 70 milliárd × 2 bájt körülbelül 140 GB. Ez több, mint egyetlen 80 GB-os GPU, mielőtt bármilyen KV gyorsítótárat hozzáadnánk.

Hogyan határozza meg az útmutató a saját üzemeltetésű telepítés jogkivonatonkénti tényleges költségét?

Ha elosztja az összes havi költséget, beleértve a személyzetet és az üresjárati kapacitást is, a ténylegesen kiszolgált tokenek számával, így közvetlenül összehasonlítható az API tokenenkénti áraival.

Miért kerülhet többe egy kevéssé használt saját üzemeltetésű fürt tokenenként, mint egy API?

Az API csak a használatért számláz, de a saját üzemeltetésű hardver és a személyzet terheléstől függetlenül ugyanannyiba kerül. Az alacsony kihasználtság ezeket a fix költségeket kevesebb token között osztja el.

Melyik költséget azonosítja az útmutató gyakran a legnagyobb rejtett vonalként az öntárhely szolgáltatásban?

A költségvetés gyakran csak hardvert számít. Egy megbízható következtetési szolgáltatás futtatása tervezési időt vesz igénybe, és ez a munka meghaladhatja a GPU-számlát.

A modell súlyain kívül mi használ GPU memóriát, és mi növekszik a kontextus hosszával és az egyidejű kérések számával?

A KV gyorsítótár figyelemkulcsokat és értékeket tárol az aktív kérésekhez. Hosszabb kontextusokhoz és több egyidejű felhasználónak több kell belőle.