የሴልደን ኮር እና ኢንፈረንስ ግራፎች
ሴልደን ኮር የማሽን መማሪያ ሞዴሎችን በኩበርኔትስ ላይ ለማሰማራት ክፍት ምንጭ መድረክ ነው፣ ጎልቶ የሚታይ ባህሪ ያለው፡ የማጣቀሻ ግራፎች።
አጠቃላይ እይታ
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
ጥልቅ ዳይቭ
ብዙ እውነተኛ የምርት አጠቃቀም ጉዳዮች ከአንድ ሞዴል ጥሪ በላይ ያካትታሉ። ግቤትን አስቀድመው ማካሄድ፣ ጥያቄን ከብዙ ሞዴሎች ወደ አንዱ ማዞር፣ ስብስብ ማስኬድ እና ውጤቱን ድህረ ማካሄድ ይችላሉ። ሴልደን ኮር ይህንን በሴልደን ዲፕሎፕመንት (ወይንም በ v2 አርክቴክቸር፣ በሴልደን ኮር ኦፕሬተር እና በኤምኤልኤስ አገልጋይ በኩል) እንደተገለጸው የማጣቀሻ ግራፍ ነው። ግራፉ የተገነባው እንደገና ጥቅም ላይ ሊውሉ ከሚችሉ ክፍሎች ዓይነቶች ነው፡ ሞዴል ትንበያዎችን ያቀርባል፣ ትራንስፎርመር ግብዓቶችን ወይም ውጤቶችን ያስተካክላል፣ ራውተር የትኛውን ልጅ እንደሚደውል ይወስናል (የA/B ሙከራዎችን እና ባለብዙ ታጣቂ ሽፍቶችን በማንቃት) እና Combiner ለመገጣጠም ከበርካታ ሞዴሎች የተገኘውን ውጤት ይሰበስባል። ሴልደን በታሸጉ ሰርቨሮች እና ብጁ የፓይዘን መጠቅለያዎች በኩል ብዙ ማዕቀፎችን ይደግፋል፣ እና የበለጸጉ መለኪያዎችን፣ የተከፋፈለ ፍለጋን እና የክፍያ ጭነትን ለእይታ እና ለማብራራት ከሳጥኑ መውጣትን ያጋልጣል።
ቴክኒካዊ ግንዛቤ
የማጣቀሻ ግራፍ እያንዳንዱ መስቀለኛ መንገድ መደበኛ ትንበያ በይነገጽ ያለው ማይክሮ አገልግሎት ሲሆን የሴልደን ኦርኬስትራ (የአገልግሎት ኦርኬስትራ/አስፈፃሚው) ጥያቄን በግራፉ በኩል በማዞር ምላሾችን በማጣመር የሚመራ አሲክሊክ ግራፍ ነው። ራውተሮች ባለብዙ ትጥቅ የባንዲት አመክንዮ መተግበር ስለሚችሉ፣ ትራፊክ በቀጥታ የሽልማት ምልክቶችን መሰረት በማድረግ ወደ ተሻለ አፈጻጸም ሞዴሎች ሊሸጋገር ይችላል። ሴልደን ኮር v2 ኤምኤልኤስሰርቨርን እና ክፍት ኢንፈረንስ ፕሮቶኮልን በመጠቀም ግራፉን ከግል ሞዴል ሰርቨሮች ያላቅቃል፣ይህም ባለብዙ ሞዴል አገልግሎትን እና በጋራ ሃርድዌር ላይ ቁርጠኝነትን ይፈጥራል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የሴልዶን ኮር እና የማጣቀሻ ግራፎች የወደፊት ዕጣ
ሴልደን ወደ ሞጁል፣ መረጃን ያማከለ MLOps ከCore v2's pipeline እና የውሂብ ፍሰት ንድፍ ጋር፣ ሲደመር ከተንሸራታች ማወቂያ (አሊቢ ፈልጎ ማግኘት) እና ገላጭነት (አሊቢ አብራራ) ጋር እየተጣመረ ነው። ኤል.ኤል.ኤም.ኤስ እና ወኪል ሲስተሞች የመመለሻ፣ ሞዴሎች እና መሳሪያዎች ድብልቅ ግራፎች ሲሆኑ፣ የማጣቀሻ-ግራፍ ማጠቃለያ ካርታዎች በተፈጥሮ በእነዚህ የስራ ፍሰቶች ላይ። ውስብስብ፣ ባለብዙ ደረጃ AI ስርዓቶች ሊታረሙ የሚችሉ እና በምርት ውስጥ የሚተዳደሩ ሆነው እንዲቀጥሉ በባለብዙ ሞዴል አገልግሎት ቅልጥፍና፣ ዥረት እና ደረጃውን የጠበቀ ታዛቢነት ላይ የበለጠ ትኩረትን ይጠብቁ።
የእውነተኛ-ዓለም አተገባበር
አበዳሪ አንድ-ትኩስ ባህሪያቱን ወደ ሞዴል መስቀለኛ መንገድ፣ ከዚያም ውጤቱን የሚቀርፀው ትራንስፎርመር፣ ሁሉም እንደ አንድ SeldonDeployment ያለውን ትራንስፎርመር በሰንሰለት ያሰራል።
የሚዲያ ካምፓኒ ብዙ የታጠቀ ወንበዴ የሚያንቀሳቅስ ራውተር ኖድ ይጠቀማል ወደ የትኛውም የምክር ሞዴል ከፍ ያለ የጠቅታ ሽልማት እያገኘ ነው።
አንድ ቡድን አንድን ውሳኔ ለጠሪው ከመመለሱ በፊት ውጤታቸውን አማካይ በሚያደርገው Combiner node ጋር ሶስት የማጭበርበር ሞዴሎችን ይሰበስባል።
ቁጥጥር የሚደረግበት መድን ሰጪ የሴልደንን የደመወዝ ጭነት ምዝግብ ማስታወሻ እና የአሊቢ ማብራሪያዎችን ከግንዛቤ ግራፍ ጋር በማያያዝ እያንዳንዱ ትንበያ ለኦዲት እንዲገለፅ እና እንዲገለፅ ያደርጋል።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Seldon Core and Inference Graphs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
TensorRT እና ኢንፈረንስ ሞተሮች
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Seldon Core and Inference Graphs?
ሴልደን ኮር የማሽን መማሪያ ሞዴሎችን በኩበርኔትስ ላይ ለማሰማራት ክፍት ምንጭ መድረክ ነው፣ ጎልቶ የሚታይ ባህሪ ያለው፡ የማጣቀሻ ግራፎች። አንድ ነጠላ ሞዴልን ከማገልገል ይልቅ ሞዴሎችን፣ ራውተሮችን፣ ኮምባይነሮችን እና ትራንስፎርመሮችን በሰንሰለት እንዲሰሩ እና እንደ አንድ ሊሰራጭ የሚችል አገልግሎት ወደሚሰራ አንድ ነጠላ ግራፍ ያደርግዎታል።
ሴልደን ኮርን ከአንድ ነጠላ ሞዴል አገልጋይ የሚለየው መለያ ባህሪ ምንድነው?
ሴልደን ኮር ሞዴሎችን፣ ራውተሮችን፣ ኮምፓንተሮችን እና ትራንስፎርመሮችን እንደ አንድ አገልግሎት ወደተዘረጋ አንድ የግንዛቤ ግራፍ እንዲያዘጋጁ ያስችልዎታል።
የትኛው የሴልደን ግራፍ አካል ጥያቄን ለመላክ የትኛው የሴልደን ግራፍ አካል ነው የሚወስነው፣ ይህም የኤ/ቢ ምርመራዎችን ያስችላል?
አንድ ራውተር ከልጁ ወደ አንዱ ጥያቄን ይመራል እና የA/B ሙከራዎችን ወይም ባለብዙ መሳሪያ ሽፍቶችን መተግበር ይችላል።
ለመገጣጠም ከበርካታ ሞዴሎች የተገኘውን ውጤት የሚያጠቃልለው የትኛው አካል አይነት ነው?
ኮምቢነር የበርካታ ልጆች ሞዴሎችን ምላሾች ወደ አንድ ውፅዓት ያዋህዳል፣ ይህም ስብስቦች እንዴት እንደሚገነቡ ነው።
የሴልደን ኢንፈረንስ ግራፍ ምን አይነት የግራፍ መዋቅር ነው የሚሰራው?
ሴልደን ኢንፈረንስ ግራፎች እያንዳንዱ መስቀለኛ መንገድ መደበኛ መተንበይ በይነገጽ ያለው ማይክሮ አገልግሎት የሆነበት አሲክሊክ ግራፎች ናቸው።
በሴልደን ኮር v2 ውስጥ ባለ ብዙ ሞዴል በግራፉ ላይ ማገልገልን የሚያነቃቁት አገልጋይ እና ፕሮቶኮል የትኛው ነው?
Core v2 MLServer እና Open Inference Protocolን ለብዙ ሞዴል አገልግሎት በመጠቀም ከሞዴል አገልጋዮች ጋር ያለውን ግራፍ ያላቅቃል።