አጠቃላይ እይታ
የተከታታይ ትይዩ አንድ ረጅም የግቤት ቅደም ተከተል በበርካታ ጂፒዩዎች ላይ ከቶከን (ጊዜ) ልኬት ጋር ይከፍላል፣ እና የደወል ትኩረት እነዚያ ጂፒዩዎች የቁልፍ/ዋጋ ብሎኮችን ቀለበት ዙሪያ በማለፍ ትክክለኛውን ትኩረት እንዲያሰሉ ያስችላቸዋል። አንድ ላይ ሆነው አንድም ጂፒዩ ሙሉውን ቅደም ተከተል ሳይይዝ በሚሊዮን የሚቆጠሩ ማስመሰያ መስኮቶችን ተግባራዊ ያደርጋሉ።
ተከታታይ ትይዩ እና የደወል ትኩረት የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው።
ጥልቅ ዳይቭ
መደበኛ ትኩረት እያንዳንዱን ቁልፍ/እሴት ለማየት እያንዳንዱን መጠይቅ ያስፈልገዋል፣ስለዚህ የማግበር ማህደረ ትውስታው በቅደም ተከተል ያድጋል እና ሙሉው K/V መገኘት አለበት። የተከታታይ ትይዩነት ቅደም ተከተሎችን ይሰብራል ስለዚህም እያንዳንዱ ጂፒዩ ተከታታይ የቶከኖች (እና ጥያቄዎቻቸው፣ ቁልፎቹ፣ እሴቶቻቸው) ባለቤት ይሆናሉ። የደወል ትኩረት ከዚያም ጂፒዩዎችን በሎጂካዊ ቀለበት ያዘጋጃል፡ እያንዳንዱ መሳሪያ የአካባቢ መጠይቆችን ሲያስተካክል የK/V ብሎኮች ቀለበቱ ላይ ሆፕ በሆፕ እንዲተላለፉ ያደርጋል። እያንዳንዱ ብሎክ ሲመጣ፣ ጂፒዩ ከፊል ትኩረት ያሰላል እና በመስመር ላይ-softmax (እንደ FlashAttention ተመሳሳይ ሩጫ ማክስ/ ድምር ዘዴ) በመጠቀም ውጤቶችን ይሰበስባል። ከሙሉ ምልልስ በኋላ፣ እያንዳንዱ መጠይቅ በትክክል እያንዳንዱን ቁልፍ ተከታትሏል፣ ምንም ጂፒዩ በጭራሽ ሙሉውን K/V አያከማችም። በወሳኝ ሁኔታ፣ የK/V ግንኙነት በስሌት ስለሚደራረብ ትንሽ የግድግዳ ሰዓት ወጪን ይጨምራል።
ቴክኒካዊ ግንዛቤ
የደወል ትኩረት በኦንላይን Softmax ላይ ይመሰረታል፡ ከፍተኛውን ሩጫ እና መደበኛ አሂድ ጠብቀው ሳለ ትኩረትን በብሎክ ሊሰላ ይችላል፣ ከዚያም ትልቅ እሴት ሲመጣ ቀደም ሲል ከፊል ድምርን እንደገና ማካካስ። ይህ ውጤቱን በሂሳብ ከሙሉ ትኩረት ጋር ተመሳሳይ ያደርገዋል። ቀለበቱ K/V tenors ብቻ ያልፋል (የመጠን ሚዛን ከብሎክ ጋር እንጂ ሙሉ ቅደም ተከተል አይደለም) እና እያንዳንዱ የሆፕ ኮሙኒኬሽን ያለፈውን የማገጃ ማትሙል ስለሚደራረብ የመተላለፊያ ይዘት - ማህደረ ትውስታ ሳይሆን - የሚገድበው ምክንያት ይሆናል።
ቅደም ተከተል ትይዩ እና የደወል ትኩረትን መቆጣጠር
የተከታታይ ትይዩ አንድ ረጅም የግቤት ቅደም ተከተል በበርካታ ጂፒዩዎች ላይ ከቶከን (ጊዜ) ልኬት ጋር ይከፍላል፣ እና የደወል ትኩረት እነዚያ ጂፒዩዎች የቁልፍ/ዋጋ ብሎኮችን ቀለበት ዙሪያ በማለፍ ትክክለኛውን ትኩረት እንዲያሰሉ ያስችላቸዋል። አንድ ላይ ሆነው አንድም ጂፒዩ ሙሉውን ቅደም ተከተል ሳይይዝ በሚሊዮን የሚቆጠሩ ማስመሰያ መስኮቶችን ተግባራዊ ያደርጋሉ። ተከታታይ ትይዩ እና የደወል ትኩረት የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው። ጥልቅ ግንዛቤን ለመገንባት፣ ተከታታይ ትይዩ እና የደወል ትኩረትን እንደ ኦፕሬሽን ሞዴል ያዙ እንጂ አንድ ባህሪ አይደለም፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር ለይ።
በተግባር፣ ተከታታይ ትይዩ እና የደወል ትኩረትን የሚጠቀሙ ጠንካራ ቡድኖች አርክቴክቸርን፣ መረጃን እና የመሰረተ ልማት ምርጫዎችን ከአስተማማኝነት እና ከወጪ ጋር ያሻሽላሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. በተመሳሳይ ጊዜ፣ አንድ ቤንችማርክን ማሻሻል ሰፋ ያሉ የስርዓት ድክመቶችን መደበቅ ይችላል። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
እያንዳንዱን ቅደም ተከተል በ8 ጂፒዩዎች በሪንግ ትኩረት በመከፋፈል የ1M-ቶከን አውድ LLM ማሰልጠን
የሜጋትሮን-ኤልኤም ተከታታይ ትይዩ በ LayerNorm እና በማቋረጥ ክልሎች ውስጥ የማግበር ማህደረ ትውስታን ይቀንሳል
አንድ ሙሉ መጽሐፍ ወይም ትልቅ የኮድ ማከማቻ በአንድ ወደፊት ማለፊያ ሳይቆራረጥ በመስራት ላይ
የቀለበት ትኩረትን ከ tensor parallelism ጋር በማጣመር ባለብዙ ጂፒዩ መስቀለኛ መንገድ ላይ እጅግ በጣም ረጅም-አውድ መረጃን ለማስማማት
የትግበራ ቅጦች
ቅደም ተከተል ትይዩ እና የደወል ትኩረት በተግባር
እያንዳንዱን ቅደም ተከተል በ8 ጂፒዩዎች በRing Attention በማካፈል የ1M-ቶከን አውድ LLM ማሰልጠን።
የ1M-ቶከን አውድ LLMን በማሰልጠን እያንዳንዱን ቅደም ተከተል በ8 ጂፒዩዎች ከሪንግ ትኩረት ቡድኖች ጋር በማካፈል ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲወስኑ የተሻለ ውጤት ያገኛሉ፣ ለጫፍ ጉዳዮች የሰውን እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተሉ።
ቅደም ተከተል ትይዩ እና የደወል ትኩረት በተግባር
የሜጋትሮን-ኤልኤም ተከታታይ ትይዩ በ LayerNorm እና በማቋረጥ ክልሎች ውስጥ የማግበር ማህደረ ትውስታን ይቀንሳል።
የሜጋትሮን-ኤልኤም ተከታታይ ትይዩ በ LayerNorm እና በማቋረጥ ክልሎች ውስጥ የማግበር ማህደረ ትውስታን በመቀነስ ቡድኖች ብዙውን ጊዜ የተሻሉ ውጤቶችን ያገኛሉ የጥራት ደረጃዎችን ከፊት ለፊት ሲገልጹ፣ ለዳር ጉዳዮች የሰውን እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
ቅደም ተከተል ትይዩ እና የደወል ትኩረት በተግባር
አንድ ሙሉ መጽሐፍ ወይም ትልቅ የኮድ ማከማቻ በአንድ ወደፊት ማለፊያ ሳይቆራረጥ በመስራት ላይ።
አንድ ሙሉ መፅሃፍ ወይም ትልቅ የኮድ ማከማቻን በአንድ ወደፊት ማለፊያ ሳይቆራረጡ ማካሄድ ቡድኖቹ ብዙ ጊዜ የተሻሉ ውጤቶችን የሚያገኙ ሲሆን ከፊት ለፊት የጥራት ደረጃዎችን ሲገልጹ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ሲያደርጉ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል።
ቅደም ተከተል ትይዩ እና የደወል ትኩረት በተግባር
የቀለበት ትኩረትን ከ tensor parallelism ጋር በማጣመር ባለብዙ ጂፒዩ መስቀለኛ መንገድ ላይ እጅግ በጣም ረጅም አውድ መረጃን ለማስማማት።
የቀለበት ትኩረትን ከ tensor parallelism ጋር በማጣመር በባለብዙ ጂፒዩ መስቀለኛ መንገድ ላይ እጅግ በጣም ረጅም አውድ መረጃን ለማስማማት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለጫፍ ጉዳዮች የሰውን እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።