引導式測驗 · 中等 等級
無伺服器 GPU 推理與冷啟動測驗
識別無伺服器 GPU 推論中的冷啟動階段,並在平衡延遲、熱容量、快取與成本的同時選擇緩解措施。
問題 1 的 8
哪一個請求最直接在無伺服器 GPU 端點上經歷冷啟動?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 哪一個請求最直接在無伺服器 GPU 端點上經歷冷啟動?
- 路由至已初始化工作節點的請求
- 在已熱身但飽和的工作節點上,排在其他工作後等待的請求
- 必須等待新工作節點和執行環境初始化的第一個請求
- 啟動後僅因模型計算而延遲的請求
- 哪一個步驟會在啟動期間將模型參數具體傳輸到 GPU 記憶體中?
- 拉取容器映像
- 將模型權重載入加速器記憶體
- 分配 GPU 工作節點
- 啟動執行環境程序
- 為什麼溫路徑基準測試可能會低估會縮減至零的端點之延遲?
- 熱基準測試包含每次呼叫時的容器和模型啟動
- 熱測量省略了擴容後第一個請求所支付的啟動和初始化成本
- 熱基準測試包含容器就緒後的工作節點分配
- 熱基準測試在每個請求時重新載入模型權重
- 哪一種緩解措施可以在減少冷啟動的同時增加閒置費用?
- 保持一定數量的 GPU 容量就緒
- 在每個請求後刪除模型產物
- 增加模型映像大小以強制預載
- 無限制地重試每個請求
- 為什麼要將冷啟動階段的時間分開計算?
- 識別延遲是由排隊、工作節點設定、模型載入還是初始化主導
- 確定生成的文字是否具有正確的語義
- 僅測量穩態 GPU 吞吐量
- 選擇模型置信度閾值
- 積極的重試如何加劇冷啟動事件?
- 它們會在工作者仍在啟動時增加更多正在執行的工作
- 它們保證平台在不產生費用的情況下保持 GPU 暖機
- 它們會自動去除所有重複請求的重複性
- 它們在重試時跳過模型初始化
- 哪些測量能區分冷啟動與暖啟動行為?
- 僅訓練精度
- 每條路徑的延遲分佈與冷啟動頻率
- 僅平均 GPU 記憶體
- Only container build time
- What does serverless imply about inference cost?
- It can reduce infrastructure management, but usage and warm capacity may still cost money
- It is automatically free when idle in every provider
- GPU capacity has no billing limits
- Retries remove compute charges