Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Automatikus skálázási modellkövetkeztetés a Kubernetes kvízen
Konfigurálja a modellkiszolgáló automatikus skálázási jeleket, és vegye figyelembe a GPU ütemezését, a modell indítási késleltetéseit, a sorokat és a nullára skálázási kompromisszumokat.
kérdés 1 -ból 8
Melyik jel képviselheti jobban a következtetési nyomást, mint a CPU önmagában?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Melyik jel képviselheti jobban a következtetési nyomást, mint a CPU önmagában?
- Sormélység vagy kérés életkora
- A modell edzési pontossága
- A YAML fájlok száma
- Az ellenőrzőpont létrehozásának dátuma
- Miért maradhat függőben egy GPU pod, miután a HPA további replikákat kér?
- A HPA automatikusan hozzáadja a fizikai GPU-kat
- Előfordulhat, hogy egyik csomópont sem rendelkezik a pod-kérésnek megfelelő GPU-kapacitással
- A modellnek nincs kimeneti aláírása
- A sormélység mindig nulla
- Mit tartalmazhat egy nagy modell hidegindítása?
- Egy képzési adatcímke csatlakozás
- Csak a kérésszámláló frissítése
- Kép és súly letöltése, valamint a modell inicializálása
- A csomópont kapacitásának csökkenése
- Mit tehet a következtetési munkaterhelés nullára skálázásával az üresjárati költségmegtakarítás érdekében?
- Nincs szükség készenléti ellenőrzésekre
- Mindig magasabb GPU memória
- Garantáltan nulla sorban állás
- Alacsonyabb üresjárati költség, de potenciálisan hosszabb első kérés késleltetése
- Mit ad a KEDA általában a Kubernetes méretezéshez?
- GPU-illesztőprogram mindegyik podban
- Eseményforrás vagy külső metrika triggerek a munkaterhelésekhez
- Modell kalibrációs metrikák
- A konténerképek helyettesítője
- Miért kell stabilizációs ablakokat vagy méretezési házirendeket beállítani?
- GPU-erőforrás-kérelmek eltávolítása
- Hogy minden pod azonos modellsúlyokat töltsön be
- Az oszcilláció és a replika hirtelen változásainak csökkentése érdekében
- Az alacsony késleltetés garantálása érdekében
- Mit kell jeleznie a készenléti állapotnak egy modell-kiszolgáló esetén?
- A fürtben nincs sorban állás
- A konténer folyamat még csak elkezdődött
- A képzési folyamat elkészült
- A modell betöltődött, és a pod képes kezelni a kéréseket
- Miért állítson be maximális replika- vagy GPU-korlátot?
- Költségkorlátozás és a hardverkvóta tiszteletben tartása
- A kapacitás garantálása minden forgalomcsúcs alatt
- A méretnövekedés elkerülése érdekében
- A modell előrejelzési értékeinek megváltoztatása