引導式測驗 · 中等 等級

無伺服器 GPU 推理與冷啟動測驗

識別無伺服器 GPU 推論中的冷啟動階段,並在平衡延遲、熱容量、快取與成本的同時選擇緩解措施。

問題 1 的 8

哪一個請求最直接在無伺服器 GPU 端點上經歷冷啟動?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 哪一個請求最直接在無伺服器 GPU 端點上經歷冷啟動?
    • 路由至已初始化工作節點的請求
    • 在已熱身但飽和的工作節點上,排在其他工作後等待的請求
    • 必須等待新工作節點和執行環境初始化的第一個請求
    • 啟動後僅因模型計算而延遲的請求
  2. 哪一個步驟會在啟動期間將模型參數具體傳輸到 GPU 記憶體中?
    • 拉取容器映像
    • 將模型權重載入加速器記憶體
    • 分配 GPU 工作節點
    • 啟動執行環境程序
  3. 為什麼溫路徑基準測試可能會低估會縮減至零的端點之延遲?
    • 熱基準測試包含每次呼叫時的容器和模型啟動
    • 熱測量省略了擴容後第一個請求所支付的啟動和初始化成本
    • 熱基準測試包含容器就緒後的工作節點分配
    • 熱基準測試在每個請求時重新載入模型權重
  4. 哪一種緩解措施可以在減少冷啟動的同時增加閒置費用?
    • 保持一定數量的 GPU 容量就緒
    • 在每個請求後刪除模型產物
    • 增加模型映像大小以強制預載
    • 無限制地重試每個請求
  5. 為什麼要將冷啟動階段的時間分開計算?
    • 識別延遲是由排隊、工作節點設定、模型載入還是初始化主導
    • 確定生成的文字是否具有正確的語義
    • 僅測量穩態 GPU 吞吐量
    • 選擇模型置信度閾值
  6. 積極的重試如何加劇冷啟動事件?
    • 它們會在工作者仍在啟動時增加更多正在執行的工作
    • 它們保證平台在不產生費用的情況下保持 GPU 暖機
    • 它們會自動去除所有重複請求的重複性
    • 它們在重試時跳過模型初始化
  7. 哪些測量能區分冷啟動與暖啟動行為?
    • 僅訓練精度
    • 每條路徑的延遲分佈與冷啟動頻率
    • 僅平均 GPU 記憶體
    • Only container build time
  8. What does serverless imply about inference cost?
    • It can reduce infrastructure management, but usage and warm capacity may still cost money
    • It is automatically free when idle in every provider
    • GPU capacity has no billing limits
    • Retries remove compute charges