Salesforce የAgentforce ሞዴሎችን በተገኝነት ዞኖች ውስጥ ለማሰራጨት የ SageMaker መቆጣጠሪያዎችን ይጠቀማል

ምን ተፈጠረ

AWS ይላል Salesforce የኤጀንትፎርድ ሞዴሎችን ከ SageMaker Inference ክፍሎች ጋር አሰማርቷል እና አዲሱን የመርሃግብር ኮንፊግ መለኪያ ተጠቅሞ የሞዴል ቅጂዎችን በተገኝነት ዞኖች እና አጋጣሚዎች ላይ ለማሰራጨት ተጠቅሟል። Salesforce በጋራ ጂፒዩዎች ላይ በርካታ ሞዴሎችን በማስተናገድ የመሠረተ ልማት ወጪዎችን የ8x ቅናሽ አሳይቷል፣ ነገር ግን ነባሪ የምደባ ባህሪ ለአምራች ሞዴሎቹ የሚያስፈልገውን የሁለት-ዞን መቋቋም ዋስትና አልሰጠም።

AWS እና Salesforce የኤጀንቶችን፣ Salesforce's AI ፋውንዴሽን የሚያካትት የምርት አገልግሎት ችግርን ይገልጻሉ። የSageMaker Inference ክፍሎች በርካታ ሞዴሎች በጂፒዩ የተደገፈ መሠረተ ልማት እንዲካፈሉ ያስችላቸዋል፣ ምንጩ የ Salesforceን የመሠረተ ልማት ወጪዎች በስምንት እጥፍ ቀንሷል ብሏል። ሽያጩ የ SageMaker ነባሪ ምደባ ስልተ ቀመር እያንዳንዱን የማሰማራት ስራ ለብቻው ገምግሟል። የአንድ የተወሰነ ሞዴል ቅጂዎች ፍትሃዊ ባልሆነ መልኩ ሊሰራጭ ይችላል የመጨረሻ ነጥብ ራሱ ብዙ የተደራሽነት ዞኖችን ሲጠቀም። ይህ የግራ ነጥብ-ደረጃ ባለብዙ-ዞን ውቅር የሞዴል-ደረጃ ስርጭትን ዋስትና ለመስጠት በቂ አይደለም። ጉዳዩ በተለይ በጋራ መሠረተ ልማት እና የግለሰብ ሞዴል ቅጂዎች አቀማመጥ መካከል ያለው ግንኙነት ነበር.

አዲሱ መቆጣጠሪያ በ CreateInferenceComponent API ውስጥ በ SchedulingConfig መለኪያ በኩል ተጋልጧል። የAvailabilityZoneBalance ቅንብር ቅጅዎች በዞኖች መካከል እንዴት እኩል እንደሚከፋፈሉ የሚገዛ ሲሆን ምደባ ስትራቴጂ ደግሞ በእያንዳንዱ ዞን ውስጥ ምደባን ይቆጣጠራል። SPREAD የስህተት ማግለልን ለማሻሻል በተቻለ መጠን በብዙ አጋጣሚዎች ቅጂዎችን ያሰራጫል; BINPACK አጠቃቀሙን ለማሻሻል በጥቂት አጋጣሚዎች ቅጂዎችን ያስቀምጣል። ምንጩ Salesforce SPREADን ለምርት ከፍተኛ ተገኝነት መስፈርቱን እንደመረጠ ይናገራል። እነዚህ መቼቶች የታሰበውን የምደባ ባህሪ በተሰማራበት ጊዜ ግልጽ ያደርጉታል እና የስርጭቱን ምርጫ ከተከተለው ተግባራዊ ግብ ጋር ያገናኙታል።

AWS ባለ ሁለት-ዞን ምሳሌ ከአራት አጋጣሚዎች እና የአንድ ሞዴል አራት ቅጂዎች ጋር ይሰጣል። በSPREAD እና ከፍተኛ የአንድ ቅጂ አለመመጣጠን የታሰበው ውጤት በእያንዳንዱ ዞን ሁለት ቅጂዎች ነው። ሁለት ቅጂዎችን ብቻ ለሚፈልግ ሞዴል፣ ከፍተኛው የዜሮ ሚዛን አለመመጣጠን በዞኑ አንድ ቅጂን ያነጣጠረ ነው። ተመሳሳዩ የመርሐግብር ቅንጅቶች በሚዛን-ውጭ፣ ሚዛን-ውስጥ፣ እና የመጨረሻ ነጥብ ወይም የማጣቀሻ-አካል ዝማኔዎች ላይ እንዲቆዩ የታሰቡ ናቸው። ምንጩ ከተደጋጋሚ የመለጠጥ ስራዎች በኋላ ለረጅም ጊዜ ጽዳት የማጠናከሪያ ስልትን ይመክራል። እነዚህ ዝርዝሮች በአንድ ላይ፣ ምደባን በመጀመሪያ ማሰማራት ላይ አንድ ጊዜ ብቻ ከተተገበረ ቅንብር ይልቅ ቀጣይ የመርሃግብር ስጋት እንደሆነ ይገልጻሉ።

የምንጭ ዝርዝሮች: aws.amazon.com ↗

ለምን አስፈላጊ ነው።

ማሰማራቱ AI ሲስተሞችን በማገልገል ላይ ያለ ተግባራዊ ችግርን ይመለከታል፡ ባለ ብዙ ዞን የመጨረሻ ነጥብ አሁንም የአንድ ሞዴል ቅጂዎች በሙሉ በአንድ ዞን ወይም ምሳሌ ላይ እንዲቀመጡ ማድረግ ይችላል። አወቃቀሩ የድርጅት ቡድኖች ተገኝነት-ዞን ምደባን ለማመጣጠን እና በስህተት ማግለል እና ከፍተኛ አጠቃቀም መካከል ለመምረጥ ግልጽ ቁጥጥሮችን ይሰጣል።

ብዙ AI ሞዴሎችን በጋራ መሠረተ ልማት ላይ ለሚሠሩ ድርጅቶች በማብቂያ ነጥብ ደረጃ እና በአምሳያ-ደረጃ የመቋቋም መካከል ያለው ልዩነት አስፈላጊ ነው። ባለብዙ ዞን የመጨረሻ ነጥብ እያንዳንዱ ሞዴል በእያንዳንዱ ዞን ውስጥ ቅጂ እንዳለው በራስ-ሰር አያረጋግጥም። የአምሳያው ቅጂዎች ከተሰበሰቡ፣ የአብነት አለመሳካት ወይም የዞን መቋረጥ ያንን ሞዴል ሊያስወግደው ይችላል ምንም እንኳን በመጨረሻው ነጥብ ላይ ያሉ ሌሎች የስራ ጫናዎች ቢኖሩም። ይህ ማለት ሰፋ ያለ ተገኝነት-የዞን ንድፍ አንድ የተለየ ሞዴል ሲጋለጥ ጠንካራ ሆኖ ሊታይ ይችላል። ስለዚህ የምደባ ጥያቄው በእያንዳንዱ ሞዴል ቅጂዎች ደረጃ መገምገም አለበት.

የምደባ ባህሪው የአስተማማኝነት መስፈርቶችን ከግልጽ የንብረት ግብይት ጋር ያገናኛል። SPREAD በአብነት ውድቀት ውስጥ የጠፉትን የሞዴል ቅጂዎች ቁጥር ሊቀንስ ይችላል፣ BINPACK ደግሞ የስራ ጫናዎችን በማሰባሰብ የፍጥነት አጠቃቀምን ያሻሽላል። ለ Salesforce፣ ምንጩ ምርጫውን የሚያቀርበው የብዙ ሞዴል ጂፒዩ ማስተናገጃን ኢኮኖሚያዊ ጥቅም ለማስጠበቅ እያንዳንዱ የምርት ሞዴል ባለ ሁለት ዞን ድጋፍ እንዲኖረው የውስጥ ፍላጎትን በማሟላት ነው። አወቃቀሩ የንግድ ልውውጥን አያስወግድም; ለቡድኖች ቅጂዎቻቸው ያሉትን አጋጣሚዎች እና ዞኖች እንዴት እንደሚይዙ እንዲመርጡ ቀጥተኛ መንገድ ይሰጣል።

የተዘገበው ውጤት ለኢንተርፕራይዝ AI ኦፕሬሽኖች ከፍተኛ የሆነ ተገኝነትን ከአጠቃላይ አርክቴክቸር ግብ ወደ መፈተሽ እና ማስተዳደር ወደሚቻል የማሰማራት መቼቶች ስለሚያንቀሳቅስ ነው። ምንጩ Salesforce ለሞዴል መርከቦች ባለ ሁለት ዞን ተገዢነትን እንዳሳካ፣ አብሮ ማስተናገጃ ቁጠባውን ጠብቆ ማቆየት፣ በሚሰፋበት ጊዜ ስርጭቱን ጠብቆ ማቆየት፣ እና በሞዴል ማሻሻያዎች ወቅት የዞን ሚዛን መስበርን አስቀርቷል። እነዚያ ከAWS የደንበኛ ስኬት መለያ የይገባኛል ጥያቄዎች እንጂ በተናጥል የተመረመሩ የአፈጻጸም ግኝቶች አይደሉም። ልጥፉ ስርዓቱ በእውነተኛ ዞን መቋረጥ ወቅት እንዴት እንደነበረ ወይም እያንዳንዱ ሞዴል እና ክልል ተመሳሳይ ሁኔታዎች እንደነበሩ አይገልጽም። የትግበራ ሂሳቡ ነፃ ማረጋገጫ ክፍት ሆኖ ሳለ መቆጣጠሪያውን እና ውጤቱን ለመረዳት ጠቃሚ ነው።

ቀጥሎ ምን እንደሚታይ

ምንጩ ራሱን የቻለ የሰዓት መለኪያዎችን፣ የመዘግየት-የፈተና ውጤቶችን፣ የቆይታ ጊዜ መረጃን ወይም ሪፖርት የተደረገውን የወጪ ቅነሳ የተሟላ ሂሳብ አያቀርብም። ስርዓተ-ጥለትን የሚከተሉ ቡድኖች በእያንዳንዱ የዒላማ ዞን ያለውን አቅም ማረጋገጥ፣ ከተመዘነ በኋላ ምደባን መከታተል እና የላቁ ጥረት ምደባ የየራሳቸውን የተገዢነት መስፈርቶች የሚያሟላ መሆኑን መወሰን አለባቸው።

አቅም ማዕከላዊ ገደብ ሆኖ ይቆያል። AWS በእያንዳንዱ ኢላማ ውስጥ በፍላጎት አቅም መያዙን ይመክራል ተደራሽነት ዞን በዞን ለተገደቡ ክልሎች፣ እና ምንጩ Salesforce ቀድሞ የተቀመጠ የጂፒዩ አቅም ሚዛናዊ ምደባ ለማግኘት እንዲረዳ ይላል። በቂ አቅም ከሌለው SageMaker የተገለጸው የማስፈጸሚያ ሁነታ የተፈቀደ ስለሆነ በተገኙ አጋጣሚዎች ላይ ቅጂዎችን በከፊል ሊያሰማራ ይችላል። ያ ባህሪው በእገዳው ውስጥ ጥቅም ላይ እንዲውል ያደርገዋል፣ ነገር ግን የመጨረሻውን ስርጭት ከታሰበው ያነሰ ሚዛን ሊተው ይችላል። የሚፈለገው ውቅር እና በትክክል የተገኘው አቀማመጥ በዚህ ምክንያት በእያንዳንዱ የዒላማ ዞን ውስጥ አስፈላጊው አቅም በማይኖርበት ጊዜ ሊለያይ ይችላል.

ኦፕሬተሮች የሚፈለገው ቦታ በጊዜ ሂደት የሚቀጥል መሆኑን መከታተል ያስፈልጋቸዋል። ምንጩ ወደ SageMaker AI Insights እና CloudWatch መለኪያዎችን ይጠቁማል-የዞን skew፣ የጠቃሚ-አካላት ቅጂ በዞን ይቆጥራል፣ ክስተቶችን እና የቆይታ ጊዜን እንደገና ማመጣጠን እና በቂ ያልሆነ የአቅም ስህተቶች። በተጨማሪም የ HA-ወሳኝ አካል ወደ አንድ ቅጂ መቀነስ እንደሌለበት ያስጠነቅቃል, ምክንያቱም አንድ ቅጂ ሁለት ዞኖችን ሊይዝ አይችልም. ተግባራዊ ጥያቄው ቡድኖች የተመጣጣኝ አለመመጣጠን የተገኝነት ችግር ከመሆኑ በፊት በምን ያህል ፍጥነት እንደሚያውቁ እና እንደሚያስተካከሉ ነው። ክትትል የሁለቱም ቅጂዎች ብዛት እና ስርጭታቸው መሸፈን አለበት፣ በተለይም ማሻሻያ እና ማሻሻያ ስራውን ሲቀይሩ።

ጠቃሚ ዝርዝሮች ከምንጩ አይታወቁም። የተካተቱትን ጂኦግራፊያዊ ክልሎች፣ የምርት መጨረሻ ነጥቦችን ወይም የተሸፈኑ ሞዴሎችን ብዛት፣ የተያዘው አቅም ዋጋ፣ በቆይታ እና በውጤት ላይ ያለውን ተጽእኖ፣ ወይም Salesforce ሊያሳካው የነበረውን የተገኝነት ኢላማ አይገልጽም። እንዲሁም ከነባሪው ስልተ-ቀመር አንጻር የንፅፅር ውድቀት ሙከራን አይሰጥም። ስለዚህ የኢንተርፕራይዝ ቡድኖች ልጥፉን እንደ ትግበራ ንድፍ እና በደንበኞች የተዘገበ ውጤት በማየት አቅሙን፣ ያልተሳካ ባህሪን ፣ ክትትልን እና አጠቃላይ ወጪን በራሳቸው አካባቢ ማረጋገጥ አለባቸው። እነዚያ ቼኮች በማገገም እና በአጠቃቀም መካከል ያለው የተዘገበው ሚዛን በራሳቸው የስራ ጫና እና የስራ ሁኔታዎች ላይ ተፈጻሚ መሆን አለመሆናቸውን ለመወሰን አስፈላጊ ናቸው።

ተዛማጅ መመሪያዎች እና ጥያቄዎች