የቴክኒክ መመሪያ

ሬይ ለተከፋፈለ AI

ሬይ ፓይዘንን እና AI የስራ ጫናዎችን ከላፕቶፕ ወደ በሺዎች በሚቆጠሩ ማሽኖች በቀላሉ ለማመጣጠን የሚያስችል ክፍት ምንጭ ማዕቀፍ ነው።

አጠቃላይ እይታ

ሬይ ፓይዘንን እና AI የስራ ጫናዎችን ከላፕቶፕ ወደ በሺዎች በሚቆጠሩ ማሽኖች በቀላሉ ለማመጣጠን የሚያስችል ክፍት ምንጭ ማዕቀፍ ነው። ለእያንዳንዳቸው ኮድዎን እንደገና ሳይጽፉ ስልጠናን፣ ማስተካከያን፣ መረጃን ማቀናበር እና አገልግሎትን ለማሰራጨት ቀላል፣ የተዋሃደ መንገድ ስለሚሰጥ አስፈላጊ ነው።

Ray for Distributed AI የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው።

ጥልቅ ዳይቭ

የሬይ ዋና ሃሳብ ተራውን የፓይዘን ተግባራትን እና ክፍሎችን በትንሹ ለውጥ ወደ ተከፋፈሉ ክፍሎች መለወጥ ነው። እንደ የርቀት 'ተግባር' ምልክት የተደረገበት ተግባር በክላስተር ውስጥ ባለ ማንኛውም ሰራተኛ ላይ በተመሳሳይ መልኩ ይሰራል። እንደ ሩቅ 'ተዋናይ' ምልክት የተደረገበት ክፍል በሠራተኛ ላይ የሚኖር መንግስታዊ አገልግሎት ይሆናል። ሬይ ቀላል ክብደት ያላቸውን የወደፊት (የነገር ማጣቀሻዎች) ይመልሳል እና መርሐግብርን ይቆጣጠራል፣ የውሂብ እንቅስቃሴን በጋራ ዕቃ መደብር እና ስህተት መቻቻልን ይቆጣጠራል። በዚህ ኮር ቁጭ አላማ የተገነቡ ቤተ-መጻሕፍት ላይ፡ ሬይ ባቡር ለተከፋፈለ ሞዴል ​​ስልጠና፣ ሬይ ቱን ለሃይፐርፓራሜትር ፍለጋ፣ ሬይ ዳታ ለዥረት ዳታ ቧንቧዎችን፣ RLlib ለማጠናከሪያ ትምህርት እና ሬይ ማገልገል ለሚችል ሞዴል አገልግሎት። ይህ አንድ ዘለላ ሙሉውን የML የስራ ፍሰት ከጫፍ እስከ ጫፍ እንዲይዝ ያስችለዋል።

ቴክኒካዊ ግንዛቤ

ዋና ዋናዎቹ ተግባራት (ሀገር አልባ፣ ትይዩ ተግባር ጥሪዎች) እና ተዋናዮች (እንደ የተጫነ ሞዴል ወይም ቆጣሪ ያሉ ነገሮችን የሚይዙ መንግስታዊ ሰራተኞች) ናቸው። የርቀት ተግባርን ሲደውሉ ሬይ ወዲያውኑ የወደፊት ጊዜን ይመልሳል እና በተገኙ ሲፒዩዎች/ጂፒዩዎች ላይ ስራውን መርሐግብር ያስይዛል። ውጤቶችን ለማምጣት ray.get() ደውለዋል። የተከፋፈለ የማህደረ ትውስታ ዕቃ ማከማቻ ዜሮ ቅጂ ያለው የጋራ ማህደረ ትውስታ ትላልቅ ነገሮችን በሠራተኞች መካከል እንደ ድርድሮች በብቃት ያንቀሳቅሳል፣ ተደጋጋሚ ተከታታይነትን በማስቀረት እና ዳታ የከበደ የኤአይአይ ቧንቧዎችን ፈጣን ያደርጋል።

ማስተር ሬይ ለተከፋፈለ AI

ሬይ ፓይዘንን እና AI የስራ ጫናዎችን ከላፕቶፕ ወደ በሺዎች በሚቆጠሩ ማሽኖች በቀላሉ ለማመጣጠን የሚያስችል ክፍት ምንጭ ማዕቀፍ ነው። ለእያንዳንዳቸው ኮድዎን እንደገና ሳይጽፉ ስልጠናን፣ ማስተካከያን፣ መረጃን ማቀናበር እና አገልግሎትን ለማሰራጨት ቀላል፣ የተዋሃደ መንገድ ስለሚሰጥ አስፈላጊ ነው። Ray for Distributed AI የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው። ጥልቅ ግንዛቤን ለመገንባት፣ Ray for Distributed AIን እንደ የክወና ሞዴል፣ አንድ ባህሪ ሳይሆን፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር ለይተው በአስተማማኝ ሁኔታ ያዙት።

በተግባር፣ Ray for Distributed AI የሚጠቀሙ ጠንካራ ቡድኖች አርክቴክቸር፣ መረጃ እና የመሠረተ ልማት ምርጫዎችን ከአስተማማኝነት እና ከወጪ ጋር ያሻሽላሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. በተመሳሳይ ጊዜ፣ አንድ ቤንችማርክን ማሻሻል ሰፋ ያሉ የስርዓት ድክመቶችን መደበቅ ይችላል። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።

ስልታዊ ተጽእኖ

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

ለተከፋፈለ AI የወደፊት የሬይ

ሬይ ትልቅ የቋንቋ ሞዴሎችን በማሰልጠን እና በማገልገል ላይ ለትልቅ AI የጀርባ አጥንት ሆኗል. በኤልኤልኤም-ተኮር አገልግሎት (ሬይ ሰርቪስ ከvLLM)፣ የተለያየ የጂፒዩ መርሐ ግብር፣ ከውሂብ ሀይቆች እና Kubernetes ጋር ጥብቅ ውህደት በኩቤሬይ፣ እና ለሾሉ አመንጪ የስራ ጫናዎች የተሻለ አውቶማቲካሊ እድገትን ይጠብቁ። ሞዴሎች እያደጉ ሲሄዱ፣ የሬይ የባለብዙ መስቀለኛ መንገድ ስልጠናን፣ የ RLHF ቧንቧዎችን እና በሺዎች በሚቆጠሩ አፋጣኞች መካከል ያለውን ልዩነት በማቀናጀት ውስጥ ያለው ሚና ሊሰፋ ይችላል።

የእውነተኛ-ዓለም አተገባበር

ምርጡን የሞዴል ውቅር ለማግኘት በመቶዎች የሚቆጠሩ የሃይፐርፓራሜትር ጥምረቶችን በጂፒዩ ክላስተር ላይ በትይዩ ለመፈለግ Ray Tuneን በማሄድ ላይ

ሬይ ባቡርን በመጠቀም የጥልቅ ትምህርት ሞዴል ስልጠናን በበርካታ ጂፒዩዎች እና ኖዶች በትንሹ የኮድ ለውጦችን ለማሰራጨት።

በክላስተር ውስጥ በሞዴል በኩል በዥረት በመልቀቅ በሚሊዮኖች የሚቆጠሩ መዝገቦችን ለማስቆጠር በሬ ዳታ ባች ኢንፍረንስ ቧንቧ መገንባት

ተለዋዋጭ የምርት ትራፊክን ለማስተናገድ በሬይ ሰርቭ ከአንድ አውቶማቲክ የመጨረሻ ነጥብ ጀርባ ብዙ ሞዴሎችን ማሰማራት

የትግበራ ቅጦች

Ray for Distributed AI በተግባር

ምርጡን የሞዴል ውቅር ለማግኘት በመቶዎች የሚቆጠሩ የሃይፐርፓራሜትር ጥምረቶችን በጂፒዩ ክላስተር ላይ በትይዩ ለመፈለግ Ray Tuneን በማሄድ ላይ።

ምርጥ የሞዴል ውቅር ለማግኘት በመቶዎች የሚቆጠሩ የሃይፐርፓራሜትር ውህዶችን በትይዩ ለመፈለግ Ray Tuneን ማሄድ ቡድኖች አብዛኛውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መስፋፋት መንገድን ይጠብቁ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።

Ray for Distributed AI በተግባር

ሬይ ባቡርን በመጠቀም የጥልቅ ትምህርት ሞዴል ስልጠናን በበርካታ ጂፒዩዎች እና ኖዶች በትንሹ የኮድ ለውጦችን ለማሰራጨት።

ሬይ ባቡርን በመጠቀም የጥልቅ መማሪያ ሞዴልን ስልጠና በብዙ ጂፒዩዎች እና በትንሹ የኮድ ለውጦች በማሰራጨት ቡድኖች ብዙውን ጊዜ የተሻሉ ውጤቶችን ያገኛሉ የጥራት ደረጃዎችን ከፊት ሲገልጹ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ያዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።

Ray for Distributed AI በተግባር

በክላስተር ውስጥ በሞዴል በኩል በዥረት በመልቀቅ በሚሊዮኖች የሚቆጠሩ መዝገቦችን ለማስቆጠር ከሬይ ዳታ ጋር ባች-ኢንፈርንስ ቧንቧ መገንባት።

በሞዴል በኩል በክላስተር ውስጥ በማሰራጨት በሚሊዮን የሚቆጠሩ መዝገቦችን ለማስመዝገብ ከሬይ ዳታ ጋር ባች-መረጃ ቧንቧ መገንባት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲወስኑ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መስፋፋት መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል።

Ray for Distributed AI በተግባር

ተለዋዋጭ የምርት ትራፊክን ለማስተናገድ በሬይ ሰርቭ ከአንድ አውቶማቲክ የመጨረሻ ነጥብ ጀርባ ብዙ ሞዴሎችን ማሰማራት።

ተለዋዋጭ የምርት ትራፊክን ለመቆጣጠር ከሬይ ሰርቭ ጋር ብዙ ሞዴሎችን ከአንድ አውቶማቲክ ማጠናቀቂያ ነጥብ ጀርባ ማሰማራት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለጫፍ ጉዳዮች የሰው ልጅ እድገት መንገድን ሲጠብቁ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል።

አደጋዎች እና የጥበቃ መንገዶች

!

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

!

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

!

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

1

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

2

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

3

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

4

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

ማሰስዎን ይቀጥሉ