引導式測驗 · 硬 等級
自辦法學碩士測驗的總擁有成本
測試影響自託管 LLM 真實成本的因素:GPU 記憶體數學、使用率、人員配置以及針對每個代幣 API 定價的收支平衡。
問題 1 的 8
大約需要多少記憶體才能容納 70 億參數模型的權重(以 16 位元精度)?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 大約需要多少記憶體才能容納 70 億參數模型的權重(以 16 位元精度)?
- 約 140 GB
- 約 35 GB
- 約 70 GB
- 約 560 GB
- 指南如何定義自架部署的每個 token 的有效成本?
- GPU 每小時租金除以模型的參數數量
- API 供應商的標價減去固定折扣
- 每月總成本除以實際提供的 token 數量
- 硬體購買價格除以使用者數量
- 為什麼使用率低的自架叢集每個 token 的成本可能比 API 更高?
- 自架模型產生較長的回覆
- GPU 的成本無論是閒置還是繁忙都相同,因此較少的 token 需要分攤固定成本
- 開放權重授權按 token 收費
- API 由政府補貼
- 指南指出哪一項成本往往是自託管中最大的隱藏成本?
- 模型下載費用
- Tokenizer 授權費
- 筆記型電腦的電力消耗
- 部署、調整、修補、升級並持續待命的工作人員
- 除了模型權重之外,還有哪些東西佔用 GPU 記憶體,並隨著上下文長度和同時請求數量增長?
- 分詞器詞彙
- 負載均衡器
- KV 緩存
- 模型授權檔案
- 為何認為自行託管自動更具隱私性是一種誤解?
- 安全性不足的自行託管伺服器可能比具備審核控制的服務提供者更具風險
- 開放權重模型會將資料回傳給其創建者
- API 永不儲存任何資料
- 隱私法規禁止自行託管
- 在 vLLM 等伺服器中,持續批次處理的目的為何?
- 將模型權重壓縮至 4 位元
- 將提示翻譯成其他語言
- 自動下載新模型版本
- 透過一次處理多個請求來保持 GPU 的工作負載
- 指南描述了許多組織可能採用的模式是什麼?
- 將所有工作負載移至自託管
- 混合模式:尖峰或前沿工作負載使用 API,穩定、高量或敏感工作負載自託管
- 永遠只使用 API
- 一次選擇,永不再回顧決策