Műszaki ÚTMUTATÓ

GitHub Műveletek az ML-folyamatokhoz

A GitHub Actions automatizálja az adattár munkafolyamatait, például a teszteket, az adatellenőrzéseket, a modellértékelést és az eseményekre reagáló kiadási lépéseket.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A GitHub Actions jövője az ML Pipelines számára
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Az ML-folyamatok előnyére válnak a szakaszos munkák és az explicit promóciós kapuk, míg a képzési hardver, az adathozzáférés, a titkok és a műtermékek megőrzése szándékos konfigurációt igényel.

Mély merülés

A GitHub Actions munkafolyamatok YAML-definíciók, amelyek triggereket, feladatokat, futókat és lépéseket határoznak meg. Futhatnak push-ok, lehívási kérések, ütemezések vagy kézi küldés alapján. A feladatok futókon futnak, és függhetnek a korábbi munkáktól, lehetővé téve például a kódellenőrzést, az adatok érvényesítését, a képzést, az értékelést és a zárt közzétételt. Az ML csapatoknak el kell választaniuk a gyors determinisztikus ellenőrzéseket a drága vagy hardverspecifikus szakaszoktól, hogy a mindennapi kódellenőrzés érzékeny maradjon. Egy tipikus lekéréses feladat függőségeket telepíthet, egységteszteket futtathat, és érvényesítheti a szolgáltatássémákat egy kis berendezésen. Egy későbbi munka egy ellenőrzött adatkészleten betaníthatja, modellműterméket hozhat létre, és kiértékelő jelentést készíthet. A promóciónak explicit kritériumoktól kell függnie, és meg kell őriznie az értékelt műtermékek pontos kivonatát. A GPU-képzéshez szükség lehet egy önálló vagy speciális futóra, amely bevezeti a kapacitással, a javítással és az elkülönítéssel kapcsolatos felelősségeket. Egy tároló konzisztenssé teheti a szoftverfüggőségeket, de nem biztosítja automatikusan a hardver- vagy adathozzáférést. A munkafolyamatok gyakran gyorsítótárakat használnak a függőség telepítésének csökkentése érdekében, valamint a melléktermékeket a kimenetek továbbítására a feladatok között vagy a jelentések megőrzésére. A gyorsítótárakat nem szabad megbízható műtermékként kezelni, és kulcsaiknak tartalmazniuk kell a releváns függőségi bemeneteket. A titkokat szűken kell felfogni; a forkból származó lehívási kérések korlátozott titkos hozzáféréssel rendelkezhetnek. Ahol támogatott, az OIDC kicserélheti a munkafolyamat-identitást rövid élettartamú felhőalapú hitelesítő adatokra, csökkentve a hosszú élettartamú kulcsokra való támaszkodást. Korlátozza a jogkivonat-engedélyeket, és rögzítse a harmadik felek műveleteit a felülvizsgált verziókhoz vagy megváltoztathatatlan hivatkozásokhoz a szervezeti szabályzatnak megfelelően. A megbízható ML munkafolyamat rögzíti a kód véglegesítését, a környezetet, az adatverziót, a betanítási konfigurációt és a modell kivonatát. Az adatlicencelés, az adatvédelem és a költségellenőrzés akkor is számít, amikor a munkákat letöltik vagy az adatkészleteken betanítják. Kerülje el az összes betanított modell automatikus közzétételét; érvényesítést és jóváhagyást igényelnek, ha azt a kockázat indokolja. A munkafolyamat-naplókhoz és műtermékekhez olyan megőrzési beállításokra van szükség, amelyek egyensúlyban tartják az auditálhatóságot, a költségeket és az érzékeny adatoknak való kitettséget. A műveletek hangszerelést biztosítanak, nem pedig azt, hogy a képzés reprodukálható, az érvényesítés megbízható vagy a kiadás biztonságos. Ezek a tulajdonságok a csővezeték bemeneteitől és kapuitól függenek.

Valós megvalósítás

A pull-request munkafolyamat gyors egységteszteket, szöszmötölést és kis adatséma-ellenőrzést futtat le az egyesítés engedélyezése előtt, miközben a teljes GPU-képzést egy külön futó vagy ütemezett feladat számára hagyja.

A betanítási munkafolyamat rögzíti a forrás-végrehajtást, a függőségi zárfájlt és a modellműtermék-kivonatot, majd feltölti az értékelési metrikákat és a jelölt műterméket felülvizsgálatra.

A kiadási feladat a sikeres kiértékeléstől függ, és a modell rendszerleíró adatbázisban való közzététele előtt jogosult környezeti jóváhagyásra van szükség.

A csapatok rövid élettartamú felhőalapú hitelesítési adatokat használnak az OIDC-n keresztül, ahol ez támogatott, ahelyett, hogy egy hosszú élettartamú felhőkulcsot tárolna tárhelytitokként.

A GitHub Actions jövője az ML Pipelines számára

Az ML csapatok a CI-t nyomon követhető kibocsátási útvonalgá fejleszthetik úgy, hogy értékelő jelentéseket és műtermék-kivonatokat tesznek közzé az ellenőrzött munkákról, majd csak a sikeres jelöltet léptetik elő. Különítse el a CPU-ellenőrzéseket a GPU-terhelésektől, és kezelje a futókapacitást és a javításokat. Használjon legkevesebb jogosultságokat, védett környezeteket és rövid élettartamú hitelesítési adatokat, ahol ez támogatott. Rendszeresen tekintse át a műveletfüggőségeket, a gyorsítótár viselkedését és a műtermékek megőrzését. A jól megtervezett munkafolyamat javítja a konzisztenciát, miközben a statisztikai áttekintés és a felelős modellirányítás továbbra is emberi és folyamati felelősség marad. A csapatok felhasználhatják a megőrzött jelentéseket az incidensek áttekintése során, és összehasonlíthatják a jelöltek időbeli lefutását.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the GitHub Actions for ML Pipelines quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a GitHub Actions for ML Pipelines?

A GitHub Actions automatizálja az adattár munkafolyamatait, például a teszteket, az adatellenőrzéseket, a modellértékelést és az eseményekre reagáló kiadási lépéseket. Az ML-folyamatok előnyére válnak a szakaszos munkák és az explicit promóciós kapuk, míg a képzési hardver, az adathozzáférés, a titkok és a műtermékek megőrzése szándékos konfigurációt igényel.

Mit határoz meg a GitHub Actions munkafolyamat?

Munkafolyamat A YAML koordinálja az eseményindítókat, valamint a konfigurált futókon futó feladatokat és lépéseket.

Miért kell különválasztani a gyors lehívási kérelmeket a teljes GPU-képzéstől?

A különböző szakaszok költségei és hardverigényei eltérőek, így a szétválasztás javítja a reakciókészséget és az erőforrás-felhasználást.

Mi köti össze az értékelő jelentést a később népszerűsített műtermékkel?

A megváltoztathatatlan kivonat segít ellenőrizni, hogy a telepített modell pontosan az a műtermék, amely átment az értékelésen.

Miért kerüljük el, hogy a lerakat titkait nem megbízható lekérési kódnak tegyük ki?

Egy jobban végrehajtott nem megbízható kód kiszivároghat vagy visszaélhet az adott jobhoz rendelkezésre álló hitelesítő adatokkal.

Mit tud nyújtani az OIDC, ha felhőszolgáltatóval van konfigurálva?

Az OIDC összevonás megbízható munkafolyamat-identitást cserélhet ideiglenes felhőalapú hitelesítő adatokra.