Docker konténerek ML modellekhez

Az ML lemezkép csomagolhatja a modell betöltéséhez vagy futtatásához szükséges Python futási környezetet, alkalmazáskódot, könyvtárakat és kiszolgáló belépési pontot. A Docker képfájlt készít olyan utasításokból, mint az alapkép, a fájlmásolatok, a függőségi telepítés és a parancskonfiguráció. A kép egy megváltoztathatatlan sablon; a tároló egy futó példány saját írható réteggel és futásidejű konfigurációval. A mérettől, a hozzáférés-vezérléstől és a frissítési stratégiától függően az adatok és a modellműtermékek külső tárolóról is beépíthetők vagy felszerelhetők. A rétegsorrend befolyásolja az összeállítás gyorsítótárazását. Ha a függőségi metaadatok ritkán változnak, a zárolási fájl másolása és a csomagok telepítése a gyorsan változó forráskód másolása előtt lehetővé teszi a Docker számára, hogy újra felhasználja a drága függőségi réteget. A többlépcsős összeállítások egy szakaszt használnak a műtermékek összeállítására vagy előkészítésére, egy későbbi szakaszban pedig csak azt, amire a futási időre szükség van. Ez csökkentheti a képméretet és eltávolíthatja az összeállítási eszközöket, bár a gondatlan másolás kihagyhatja a szükséges futásidejű könyvtárakat. A reprodukálhatóság többet igényel, mint egy Dockerfile írása. Rögzítse a függőségeket, válasszon ki egy explicit alapképet, őrizze meg az összeállítási környezetet, és rögzítse a modell melléktermék-verzióit. Az összefoglaló gombostű pontos képet tud azonosítani, míg a mozgó címke később más tartalomra utalhat. A rögzítéshez azonban a biztonsági javítások szándékos frissítési folyamata szükséges. A nagy adatkészletek és titkok általában a képen kívülre tartoznak; a hitelesítő adatokat egy biztonságos futásidejű mechanizmuson keresztül adja át, ahelyett, hogy beágyazná őket összeállítási argumentumokba vagy rétegekbe. Az éles képeknek a legkevesebb jogosultságot kell használniuk, ahol lehetséges, nem root felhasználókat, minimális csomagot és sebezhetőségi vizsgálatot. Az erőforráskorlátok, az állapotellenőrzések és a naplózás futásidejű vagy irányítási rétegekben konfigurálható. A GPU-hozzáférés és az illesztőprogramok a gazdagéptől és a futásidejű konfigurációtól függenek; egy konténer nem tartalmazza a fizikai eszközt. Tesztelje a beépített lemezképet egy telepítéshez hasonló környezetben, beleértve a modell betöltését, a bemenet érvényesítését és a leállítási viselkedést. A konténerek javítják a csomagolás konzisztenciáját, de önmagukban nem garantálják az azonos számszerű eredményeket a hardveren, a determinisztikus képzésen vagy a biztonságos ellátási láncon keresztül.