Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Automatikus skálázási modellkövetkeztetés a Kubernetes kvízen

Konfigurálja a modellkiszolgáló automatikus skálázási jeleket, és vegye figyelembe a GPU ütemezését, a modell indítási késleltetéseit, a sorokat és a nullára skálázási kompromisszumokat.

Kapcsolódó útmutató utakAutoscaling Model Inference Kubernetes
kérdés 1 -ból 8

Melyik jel képviselheti jobban a következtetési nyomást, mint a CPU önmagában?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Melyik jel képviselheti jobban a következtetési nyomást, mint a CPU önmagában?
    • Sormélység vagy kérés életkora
    • A modell edzési pontossága
    • A YAML fájlok száma
    • Az ellenőrzőpont létrehozásának dátuma
  2. Miért maradhat függőben egy GPU pod, miután a HPA további replikákat kér?
    • A HPA automatikusan hozzáadja a fizikai GPU-kat
    • Előfordulhat, hogy egyik csomópont sem rendelkezik a pod-kérésnek megfelelő GPU-kapacitással
    • A modellnek nincs kimeneti aláírása
    • A sormélység mindig nulla
  3. Mit tartalmazhat egy nagy modell hidegindítása?
    • Egy képzési adatcímke csatlakozás
    • Csak a kérésszámláló frissítése
    • Kép és súly letöltése, valamint a modell inicializálása
    • A csomópont kapacitásának csökkenése
  4. Mit tehet a következtetési munkaterhelés nullára skálázásával az üresjárati költségmegtakarítás érdekében?
    • Nincs szükség készenléti ellenőrzésekre
    • Mindig magasabb GPU memória
    • Garantáltan nulla sorban állás
    • Alacsonyabb üresjárati költség, de potenciálisan hosszabb első kérés késleltetése
  5. Mit ad a KEDA általában a Kubernetes méretezéshez?
    • GPU-illesztőprogram mindegyik podban
    • Eseményforrás vagy külső metrika triggerek a munkaterhelésekhez
    • Modell kalibrációs metrikák
    • A konténerképek helyettesítője
  6. Miért kell stabilizációs ablakokat vagy méretezési házirendeket beállítani?
    • GPU-erőforrás-kérelmek eltávolítása
    • Hogy minden pod azonos modellsúlyokat töltsön be
    • Az oszcilláció és a replika hirtelen változásainak csökkentése érdekében
    • Az alacsony késleltetés garantálása érdekében
  7. Mit kell jeleznie a készenléti állapotnak egy modell-kiszolgáló esetén?
    • A fürtben nincs sorban állás
    • A konténer folyamat még csak elkezdődött
    • A képzési folyamat elkészült
    • A modell betöltődött, és a pod képes kezelni a kéréseket
  8. Miért állítson be maximális replika- vagy GPU-korlátot?
    • Költségkorlátozás és a hardverkvóta tiszteletben tartása
    • A kapacitás garantálása minden forgalomcsúcs alatt
    • A méretnövekedés elkerülése érdekében
    • A modell előrejelzési értékeinek megváltoztatása