Műszaki ÚTMUTATÓ

Kék-zöld telepítés ML modellekhez

A kék-zöld üzembe helyezés két éles környezetet tart fenn: az egyik az aktuális forgalmat szolgálja ki, míg a másik egy jelölt kiadást kap, majd a forgalom az ellenőrzések sikeressége után vált.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az ML modellek kék-zöld bevezetésének jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Lehetővé teszi az útválasztás gyors visszaállítását, de kapacitást igényel mind a környezethez, mind az állapot-, adatkompatibilitási és repülés közbeni kérések gondos kezeléséhez.

Mély merülés

A kék-zöld üzembe helyezés két éles környezetet használ. Az egyik környezet, amelyet gyakran kéknek hívnak, élő kéréseket szolgál ki. A másik, zöld, új alkalmazás- vagy modellkiadást kap, és tesztelik, mielőtt forgalmat venne fel. Ezután egy útválasztó, terheléselosztó vagy telepítésvezérlő átirányítja a forgalmat az új környezetbe. Ha problémák jelentkeznek, a forgalom visszakapcsolható a régire, feltéve, hogy az egészséges és a jelenlegi állapottal kompatibilis marad. ML szolgáltatás esetén a zöld új modellműterméket, előfeldolgozási kódot és kiszolgálási konfigurációt tölthet be. Tesztelje az állapotellenőrzéseket, a sémakompatibilitást, a késleltetést, az erőforráshasználatot és a reprezentatív előrejelzéseket a levágás előtt. Az árnyékforgalom összehasonlíthatja a kimeneteket anélkül, hogy zöld eredményeket jelenítene meg a felhasználók számára; egy részleges kanári további bizonyítékkal szolgálhat a teljes átállás előtt. Ezek a gyakorlatok kiegészítik a kék-zöld alapmodellt, és kifejezetten meg kell tervezni őket. A fő előny a viszonylag gyors visszaállítási útvonal, mivel a korábbi környezet megmarad. A költség két környezet üzemeltetése és érvényesítése, ami megduplázhatja a számításokat, vagy gondos kapacitástervezést igényel. A modell betöltése időt vehet igénybe, különösen nagy műtermékek vagy GPU-memória korlátok esetén. Előfordulhat, hogy mindkét verziónak hozzáférésre van szüksége a kompatibilis adatsémákhoz és megosztott szolgáltatásokhoz. A repülés közbeni kérések, a munkamenet állapota, a gyorsítótárak és az adatbázisok írása bonyolíthatja a váltást. Az adatbázis- és szolgáltatástár-módosításoknak visszafelé kompatibilis vagy szerződésbővített migrációt kell használniuk, hogy mindkét verzió működhessen az átmenet során. Az útválasztás visszagörgetése nem fordítja vissza a már megírt adatokat vagy a külső mellékhatásokat. Határozza meg előre az egészségügyi kritériumokat, a forgalomváltási eljárást, a visszaállítási jogosultságot és a tisztítási tervet. Sikeres megfigyelés után a régi környezet visszavonható. A kék-zöld telepítés szabályozott átkapcsolást kínál, de nem bizonyítja a modell minőségét, és nem szünteti meg a megosztott állapotból, az expozíciós különbségekből vagy az elégtelen tesztforgalomból eredő kockázatokat.

Valós megvalósítás

Egy ajánlási szolgáltatás az A modell verzióját futtatja kék környezetben, és a B verziót zöld színben tölti be. Füstvizsgálatok és árnyék-összehasonlítások után az útválasztó zöldre állítja a forgalmat.

A kanári fázis a forgalom egy kis részét zöldre küldi a teljes váltás előtt, annak ellenére, hogy az alapvető kék-zöld mintát gyakran a környezetek közötti átkapcsolásként írják le.

A késleltetési csúcs után a szolgáltatási útválasztó kékre állítja vissza a forgalmat. A korábbi környezet továbbra is elérhető marad, lehetővé téve a gyors visszaállítást, miközben a mérnökök vizsgálják a jelöltet.

A sémaáttelepítést úgy tervezték, hogy támogassa a régi és az új modellverziókat is az átvágás során, elkerülve az inkompatibilis adatbázis-módosítást, amely megakadályozza a visszaállítást.

Az ML modellek kék-zöld bevezetésének jövője

A kék-zöld ML kiadások a füsttesztek, a modellterhelés-ellenőrzések, a sémakompatibilitás és a router visszaállítási kritériumainak automatizálásával javíthatók. A csapatoknak meg kell becsülniük a GPU- és a memóriakapacitást két környezetre, és fel kell melegíteniük a jelöltet a forgalom váltása előtt. Tesztelje a visszaállítási útvonalat a rutin kiadások során, beleértve az írási és késleltetett címkék viselkedését. Egy szakaszos kanári csökkentheti az expozíciót a teljes átvágás előtt. Az egyértelmű működési tulajdonjog és a tisztítási időszak megakadályozza, hogy a duplikált infrastruktúra fennmaradjon, miután a kiadás stabil. A csapatoknak a visszaállítás során is gyakorolniuk kell az érdekelt felekkel folytatott kommunikációt.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Blue-Green Deployment for ML Models quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a kék-zöld telepítés az ML modellekhez?

A kék-zöld üzembe helyezés két éles környezetet tart fenn: az egyik az aktuális forgalmat szolgálja ki, míg a másik egy jelölt kiadást kap, majd a forgalom az ellenőrzések sikeressége után vált. Lehetővé teszi az útválasztás gyors visszaállítását, de kapacitást igényel mind a környezethez, mind az állapot-, adatkompatibilitási és repülés közbeni kérések gondos kezeléséhez.

Hogyan történik a kék és zöld környezet hozzárendelése a kiadás során?

Az egyik környezet éles marad, míg a másikat előkészítik és tesztelik a forgalom eltolódása előtt.

Mi teszi lehetővé a gyors útválasztási visszaállítást egy rossz átkapcsolás után?

A forgalmat vissza lehet irányítani a megőrzött kék környezetbe, ha az továbbra is működőképes.

Miért tervezzünk kapacitást egyszerre kékre és zöldre?

Mindkét környezet fenntartásához duplikált számítási és gyorsítókapacitásra lehet szükség a kiadás során.

Miért kell az adatbázis-módosításoknak mindkét verzióval kompatibilisnek maradniuk az átvágás során?

Előfordulhat, hogy mindkét verziónak megosztott állapotban kell működnie a közzététel és a visszaállítás során.

Mit nyújt az árnyékforgalom?

Az árnyékolás lehetővé teszi a csapatok számára, hogy összehasonlítsák a kimeneteket, miközben a jelenlegi környezet továbbra is a felhasználó felé néz.