Áttekintés
A Seldon Core egy nyílt forráskódú platform a gépi tanulási modellek Kubernetes rendszerben való üzembe helyezéséhez, és egy kiemelkedő funkcióval: a következtetési grafikonokkal. Egyetlen elszigetelt modell kiszolgálása helyett lehetővé teszi a modellek, útválasztók, kombinálók és transzformátorok egyetlen irányított gráfba láncolását, amely egyetlen telepíthető szolgáltatásként fut.
A Seldon Core and Inference Graphs egy olyan műszaki építőelem, amely befolyásolja a modell minőségét, az infrastruktúra költségeit, a késleltetést és a megbízhatóságot.
Mély merülés
Sok valós termelési felhasználási eset több mint egyetlen modellhívást foglal magában. Előzetesen feldolgozhatja a bevitelt, átirányíthat egy kérelmet a több modell egyikére, futtathat egy együttest, majd utólag feldolgozhatja az eredményt. A Seldon Core ezt egy SeldonDeploymentben (vagy v2 architektúrában a Seldon Core Operatoron és MLServeren keresztül) meghatározott következtetési gráfként fejezi ki. A gráf újrafelhasználható komponenstípusokból épül fel: a modell előrejelzéseket szolgál ki, a transzformátor módosítja a bemeneteket vagy kimeneteket, a router eldönti, hogy melyik gyermeket hívja meg (lehetővé teszi az A/B teszteket és a többkarú banditákat), a Combiner pedig több modell kimeneteit összesíti az összeállításhoz. A Seldon számos keretrendszert támogat előrecsomagolt szervereken és egyedi Python-burkolókon keresztül, és gazdag metrikákat, elosztott nyomkövetést és hasznos terhelési naplózást tesz elérhetővé a megfigyelhetőség és magyarázhatóság érdekében.
Technikai betekintés
A következtetési gráf egy irányított aciklikus gráf, ahol minden csomópont egy szabványos előrejelzési interfésszel rendelkező mikroszolgáltatás, és Seldon hangszerelője (a szolgáltatás szervezője/végrehajtója) átirányítja a kérést a gráfon, és egyesíti a válaszokat. Mivel az útválasztók többkarú bandita logikát is képesek megvalósítani, a forgalom adaptívan elmozdulhat a jobban teljesítő modellek felé az élő jutalomjelek alapján. A Seldon Core v2 leválasztja a grafikont az egyes modellkiszolgálókról az MLServer és az Open Inference Protocol segítségével, lehetővé téve a többmodelles kiszolgálást és a megosztott hardvereken való túllépést.
Seldon mag- és következtetési grafikonok elsajátítása
A Seldon Core egy nyílt forráskódú platform a gépi tanulási modellek Kubernetes rendszerben való üzembe helyezéséhez, és egy kiemelkedő funkcióval: a következtetési grafikonokkal. Egyetlen elszigetelt modell kiszolgálása helyett lehetővé teszi a modellek, útválasztók, kombinálók és transzformátorok egyetlen irányított gráfba láncolását, amely egyetlen telepíthető szolgáltatásként fut. A Seldon Core and Inference Graphs egy olyan műszaki építőelem, amely befolyásolja a modell minőségét, az infrastruktúra költségeit, a késleltetést és a megbízhatóságot. A mélyebb megértés érdekében a Seldon Core és Inference Graphsokat működési modellként kell kezelni, nem egyetlen jellemzőként: határozza meg a kívánt eredményeket, tisztázza a feltételezéseket, és válassza el, hogy a rendszer mit tud megbízhatóan elvégezni attól, ami még szakértői megítélést igényel.
A gyakorlatban a Seldon Core és Inference Graphs segítségével erős csapatok optimalizálják az architektúrát, az adatokat és az infrastruktúrát a megbízhatóság és a költségek szempontjából. Dokumentálják az explicit sikerkritériumokat, tesztelik a valósághű adatokat és munkafolyamatokat, és a megfigyelt hibaminták alapján iterálnak, nem pedig egyszeri benchmark győzelmek alapján. Ez az a hely, ahol az elméleti megértés tartós képességgé válik a termék, a politika és a műveletek között.
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket. Ugyanakkor az egyik benchmark optimalizálása elrejtheti a rendszer általános gyengeségeit. A legrugalmasabb megközelítés a kísérleti sebesség és az irányítási fegyelem kombinálása: kísérleti kísérletek futtatása, bizonyítékok rögzítése, döntési naplók közzététele és a biztosítékok folyamatos frissítése a modell viselkedésének, a felhasználói elvárásoknak és a szabályozási követelményeknek megfelelően.
Stratégiai hatás
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
Valós megvalósítás
A kölcsönadó leláncol egy Transformert, amely egy-egy funkciókat kódol egy modellcsomópontba, majd egy Transformert, amely formázza a pontszámot, mindezt egyetlen SeldonDeploymentként.
Egy médiacég egy többkarú banditát futtató Router csomópontot használ, hogy dinamikusan több forgalmat küldjön arra az ajánlási modellre, amely magasabb kattintási jutalmat ér el.
Egy csapat három csalási modellt állít össze egy Combiner csomóponttal, amely átlagolja pontszámaikat, mielőtt egyetlen döntést visszaküldene a hívónak.
Egy szabályozott biztosító a Seldon-féle hasznos tehernaplózást és az Alibi magyarázókat egy következtetési grafikonhoz csatolja, így minden előrejelzés nyomon követhető és megmagyarázható az auditok számára.
Megvalósítási minták
Seldon Core és Inference Graphs a gyakorlatban
A kölcsönadó leláncol egy Transformert, amely egy-egy funkciókat kódol egy modellcsomópontba, majd egy Transformert, amely formázza a pontszámot, mindezt egyetlen SeldonDeploymentként.
A hitelező egy modellcsomópontba láncolja a funkciókat egyformán kódoló Transformert, majd egy Transformert, amely formázza a pontszámot – mindezt egyként A SeldonDeployment Teams rendszerint jobb eredményeket ér el, ha előre meghatározza a minőségi küszöbértékeket, emberi eszkalációs utat tart a szélsőséges esetekben, és nyomon követi a termelékenységnövekedést és a hibaköltségeket az idő múlásával.
Seldon Core és Inference Graphs a gyakorlatban
Egy médiacég egy többkarú banditát futtató Router csomópontot használ, hogy dinamikusan több forgalmat küldjön arra az ajánlási modellre, amely magasabb kattintási jutalmat ér el.
A médiacégek egy többkarú banditát futtató Router csomópontot használnak, hogy dinamikusan nagyobb forgalmat küldjenek arra az ajánlási modellre, amely magasabb kattintási jutalmat ér el. A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöböket, emberi eszkalációs útvonalat tartanak a szélsőséges esetekben, és nyomon követik a termelékenység növekedését és a hibaköltségeket az idő múlásával.
Seldon Core és Inference Graphs a gyakorlatban
Egy csapat három csalási modellt állít össze egy Combiner csomóponttal, amely átlagolja pontszámaikat, mielőtt egyetlen döntést visszaküldene a hívónak.
Egy csapat három csalási modellt állít össze egy Combiner csomóponttal, amelyek átlagolják pontszámaikat, mielőtt egyetlen döntést visszaküldenének a hívónak. A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöböket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket az idő múlásával.
Seldon Core és Inference Graphs a gyakorlatban
Egy szabályozott biztosító a Seldon-féle hasznos tehernaplózást és az Alibi magyarázókat egy következtetési grafikonhoz csatolja, így minden előrejelzés nyomon követhető és megmagyarázható az auditok számára.
Egy szabályozott biztosító a Seldon hasznos terhelés naplózását és az Alibi magyarázóit egy következtetési grafikonhoz csatolja, így minden előrejelzés nyomon követhető és megmagyarázható az auditokhoz A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöböket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket az idő múlásával.
Kockázatok és védőkorlátok
Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.
Végrehajtási ütemterv
A megvalósítás előtt határozza meg a késleltetési, minőségi és költségcélokat.
A megvalósítás előtt határozza meg a késleltetési, minőségi és költségcélokat. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Benchmark reális terhelési és adatviszonyok mellett.
Benchmark reális terhelési és adatviszonyok mellett. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.