SeterusnyaPanduan seterusnya
Pengoptimuman Kos Awan untuk Beban Kerja ML
Teknikal
PANDUAN Teknikal
Jumlah kos pemilikan (TCO) bagi LLM yang dihoskan sendiri ialah semua kos untuk menjalankan model berwajaran terbuka pada perkakasan anda sendiri atau yang disewa.
Dengar panduan iniAI-diceritakan · ~3 min
Itu termasuk GPU, kuasa, rangkaian, perisian, kakitangan kejuruteraan, kapasiti menganggur dan peningkatan, bukan hanya harga GPU. Membandingkan jumlah itu dengan harga API per token menunjukkan sama ada menghoskan sendiri sebenarnya menjimatkan wang. Jawapannya biasanya bergantung pada memastikan perkakasan sibuk kebanyakan masa.
Self-hosting means downloading an open-weight model, such as a Llama, Mistral, Qwen or Gemma variant, and serving it on infrastructure you control. That can be servers you own or GPUs you rent in the cloud. The weights may be free to download, but running them is not. Total cost of ownership has several layers: - **Hardware.** Purchased GPUs are depreciated over a few years. Rented GPUs are billed by the hour whether they are busy or idle. Owned hardware also needs power, cooling, rack space and networking. - **Software and operations.** You need an inference server such as vLLM, SGLang or NVIDIA TensorRT-LLM. You also need load balancing, monitoring, logging, security hardening, and redundancy so one failed node does not take the service down. - **Staff.** This is often the largest hidden cost: engineers who deploy, tune, patch and upgrade the stack, plus someone on call. - **Upgrades.** New models arrive often. Each migration means re-evaluating, re-tuning and sometimes buying new hardware. Utilization decides the outcome. An API charges only for the tokens you use. A self-hosted GPU costs the same whether it serves one request or thousands. Effective cost per token is total monthly cost divided by tokens actually served. A lightly used cluster can cost far more per token than an API, while a steadily loaded one can cost much less. Three misconceptions are common. The first is that GPU rental price times hours equals the cost, which ignores staff and idle time. The second is that open weights mean free. The third is that self-hosting is automatically more private. A poorly secured server can be riskier than a provider with audited controls. There are good reasons to self-host: - control over your data - predictable costs at high, steady volume - customization through fine-tuning - freedom from a provider changing or retiring a model
Sebuah syarikat menyewa GPU untuk melayan model 70‑billion‑parameter bagi pembantu dalaman. Trafik hanya datang semasa waktu pejabat, jadi GPU kebanyakannya menganggur pada malam hari dan setiap token berakhir lebih mahal daripada API yang digantikannya.
Sebuah bank yang dasar dalaman memerlukan data sensitif kekal pada infrastruktur yang dikawal sendiri menghoskan model terbuka bersaiz sederhana di pusat data mereka. Mereka menerima kos lebih tinggi sebagai pertukaran untuk kawalan itu.
Sebuah saluran klasifikasi dokumen yang beroperasi 24/7 melayan model kuantisasi kecil pada satu GPU dengan penjumlahan berterusan. Kos per tokennya jauh lebih rendah daripada kadar API.
Sebuah startup hanya menganggarkan untuk sewa GPU awan. Kemudian mereka mendapati perlu ada jurutera panggilan untuk mengendalikan gangguan perkhidmatan, pemantauan, tampalan keselamatan dan peningkatan model, dan kos kakitangan itu melebihi bil perkakasan.
Pengiraan menghoskan sendiri terus berubah dalam kedua-dua arah. Model berwajaran terbuka menjadi lebih berkemampuan, dan kuantisasi serta perisian perkhidmatan yang cekap membolehkan perkakasan lebih kecil mengendalikan beban kerja yang berguna. Pada masa yang sama, harga API telah turun, dan perkhidmatan terurus semakin banyak menghoskan model terbuka dengan bayaran per token, yang mengurangkan beban operasi. Bagi banyak organisasi, pola yang mungkin ialah hibrid: API untuk beban kerja yang tidak menentu atau terdepan, dan menghoskan sendiri untuk beban kerja yang stabil, bervolum tinggi atau sensitif. Anggap keputusan ini sesuatu yang perlu ditinjau secara berkala, bukan pilihan sekali sahaja. Generasi perkakasan, keluaran model dan harga semua berubah dalam tempoh susut nilai biasa.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Jumlah kos pemilikan (TCO) bagi LLM yang dihoskan sendiri ialah semua kos untuk menjalankan model berwajaran terbuka pada perkakasan anda sendiri atau yang disewa. Itu termasuk GPU, kuasa, rangkaian, perisian, kakitangan kejuruteraan, kapasiti menganggur dan peningkatan, bukan hanya harga GPU. Membandingkan jumlah itu dengan harga API per token menunjukkan sama ada menghoskan sendiri sebenarnya menjimatkan wang. Jawapannya biasanya bergantung pada memastikan perkakasan sibuk kebanyakan masa.
Pada 16 bit (2 bait) per parameter, 70 bilion × 2 bait kira-kira 140 GB. Itu lebih daripada satu GPU 80 GB, sebelum sebarang memori cache KV ditambah.
Membahagikan semua kos bulanan, termasuk kakitangan dan kapasiti menganggur, dengan token yang sebenarnya dilayan memberikan angka yang boleh dibandingkan secara langsung dengan harga API per token.
API hanya menagih penggunaan, tetapi perkakasan dan kakitangan self-hosted berbiaya sama tidak kira beban. Utilisasi rendah menyebarkan kos tetap tersebut ke lebih sedikit token.
Belanjawan sering hanya mengira perkakasan. Menjalankan perkhidmatan inferens yang boleh dipercayai memerlukan masa kejuruteraan, dan kerja itu boleh melebihi bil GPU.
Cache KV menyimpan kunci dan nilai perhatian bagi permintaan aktif. Konteks lebih panjang dan lebih banyak pengguna serentak memerlukan lebih banyak ruang.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pengoptimuman Kos Awan untuk Beban Kerja ML
Teknikal