LegközelebbKövetkező útmutató
Személyazonosításra alkalmas adatok kezelése az ML képzési folyamatokban
Műszaki
Műszaki ÚTMUTATÓ
A GitHub Actions automatizálja az adattár munkafolyamatait, például a teszteket, az adatellenőrzéseket, a modellértékelést és az eseményekre reagáló kiadási lépéseket.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Az ML-folyamatok előnyére válnak a szakaszos munkák és az explicit promóciós kapuk, míg a képzési hardver, az adathozzáférés, a titkok és a műtermékek megőrzése szándékos konfigurációt igényel.
A GitHub Actions munkafolyamatok YAML-definíciók, amelyek triggereket, feladatokat, futókat és lépéseket határoznak meg. Futhatnak push-ok, lehívási kérések, ütemezések vagy kézi küldés alapján. A feladatok futókon futnak, és függhetnek a korábbi munkáktól, lehetővé téve például a kódellenőrzést, az adatok érvényesítését, a képzést, az értékelést és a zárt közzétételt. Az ML csapatoknak el kell választaniuk a gyors determinisztikus ellenőrzéseket a drága vagy hardverspecifikus szakaszoktól, hogy a mindennapi kódellenőrzés érzékeny maradjon. Egy tipikus lekéréses feladat függőségeket telepíthet, egységteszteket futtathat, és érvényesítheti a szolgáltatássémákat egy kis berendezésen. Egy későbbi munka egy ellenőrzött adatkészleten betaníthatja, modellműterméket hozhat létre, és kiértékelő jelentést készíthet. A promóciónak explicit kritériumoktól kell függnie, és meg kell őriznie az értékelt műtermékek pontos kivonatát. A GPU-képzéshez szükség lehet egy önálló vagy speciális futóra, amely bevezeti a kapacitással, a javítással és az elkülönítéssel kapcsolatos felelősségeket. Egy tároló konzisztenssé teheti a szoftverfüggőségeket, de nem biztosítja automatikusan a hardver- vagy adathozzáférést. A munkafolyamatok gyakran gyorsítótárakat használnak a függőség telepítésének csökkentése érdekében, valamint a melléktermékeket a kimenetek továbbítására a feladatok között vagy a jelentések megőrzésére. A gyorsítótárakat nem szabad megbízható műtermékként kezelni, és kulcsaiknak tartalmazniuk kell a releváns függőségi bemeneteket. A titkokat szűken kell felfogni; a forkból származó lehívási kérések korlátozott titkos hozzáféréssel rendelkezhetnek. Ahol támogatott, az OIDC kicserélheti a munkafolyamat-identitást rövid élettartamú felhőalapú hitelesítő adatokra, csökkentve a hosszú élettartamú kulcsokra való támaszkodást. Korlátozza a jogkivonat-engedélyeket, és rögzítse a harmadik felek műveleteit a felülvizsgált verziókhoz vagy megváltoztathatatlan hivatkozásokhoz a szervezeti szabályzatnak megfelelően. A megbízható ML munkafolyamat rögzíti a kód véglegesítését, a környezetet, az adatverziót, a betanítási konfigurációt és a modell kivonatát. Az adatlicencelés, az adatvédelem és a költségellenőrzés akkor is számít, amikor a munkákat letöltik vagy az adatkészleteken betanítják. Kerülje el az összes betanított modell automatikus közzétételét; érvényesítést és jóváhagyást igényelnek, ha azt a kockázat indokolja. A munkafolyamat-naplókhoz és műtermékekhez olyan megőrzési beállításokra van szükség, amelyek egyensúlyban tartják az auditálhatóságot, a költségeket és az érzékeny adatoknak való kitettséget. A műveletek hangszerelést biztosítanak, nem pedig azt, hogy a képzés reprodukálható, az érvényesítés megbízható vagy a kiadás biztonságos. Ezek a tulajdonságok a csővezeték bemeneteitől és kapuitól függenek.
A pull-request munkafolyamat gyors egységteszteket, szöszmötölést és kis adatséma-ellenőrzést futtat le az egyesítés engedélyezése előtt, miközben a teljes GPU-képzést egy külön futó vagy ütemezett feladat számára hagyja.
A betanítási munkafolyamat rögzíti a forrás-végrehajtást, a függőségi zárfájlt és a modellműtermék-kivonatot, majd feltölti az értékelési metrikákat és a jelölt műterméket felülvizsgálatra.
A kiadási feladat a sikeres kiértékeléstől függ, és a modell rendszerleíró adatbázisban való közzététele előtt jogosult környezeti jóváhagyásra van szükség.
A csapatok rövid élettartamú felhőalapú hitelesítési adatokat használnak az OIDC-n keresztül, ahol ez támogatott, ahelyett, hogy egy hosszú élettartamú felhőkulcsot tárolna tárhelytitokként.
Az ML csapatok a CI-t nyomon követhető kibocsátási útvonalgá fejleszthetik úgy, hogy értékelő jelentéseket és műtermék-kivonatokat tesznek közzé az ellenőrzött munkákról, majd csak a sikeres jelöltet léptetik elő. Különítse el a CPU-ellenőrzéseket a GPU-terhelésektől, és kezelje a futókapacitást és a javításokat. Használjon legkevesebb jogosultságokat, védett környezeteket és rövid élettartamú hitelesítési adatokat, ahol ez támogatott. Rendszeresen tekintse át a műveletfüggőségeket, a gyorsítótár viselkedését és a műtermékek megőrzését. A jól megtervezett munkafolyamat javítja a konzisztenciát, miközben a statisztikai áttekintés és a felelős modellirányítás továbbra is emberi és folyamati felelősség marad. A csapatok felhasználhatják a megőrzött jelentéseket az incidensek áttekintése során, és összehasonlíthatják a jelöltek időbeli lefutását.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A GitHub Actions automatizálja az adattár munkafolyamatait, például a teszteket, az adatellenőrzéseket, a modellértékelést és az eseményekre reagáló kiadási lépéseket. Az ML-folyamatok előnyére válnak a szakaszos munkák és az explicit promóciós kapuk, míg a képzési hardver, az adathozzáférés, a titkok és a műtermékek megőrzése szándékos konfigurációt igényel.
Munkafolyamat A YAML koordinálja az eseményindítókat, valamint a konfigurált futókon futó feladatokat és lépéseket.
A különböző szakaszok költségei és hardverigényei eltérőek, így a szétválasztás javítja a reakciókészséget és az erőforrás-felhasználást.
A megváltoztathatatlan kivonat segít ellenőrizni, hogy a telepített modell pontosan az a műtermék, amely átment az értékelésen.
Egy jobban végrehajtott nem megbízható kód kiszivároghat vagy visszaélhet az adott jobhoz rendelkezésre álló hitelesítő adatokkal.
Az OIDC összevonás megbízható munkafolyamat-identitást cserélhet ideiglenes felhőalapú hitelesítő adatokra.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Személyazonosításra alkalmas adatok kezelése az ML képzési folyamatokban
Műszaki