ቅደም ተከተል ትይዩ እና የደወል ትኩረት
የተከታታይ ትይዩ አንድ ረጅም የግቤት ቅደም ተከተል በበርካታ ጂፒዩዎች ላይ ከቶከን (ጊዜ) ልኬት ጋር ይከፍላል፣ እና የደወል ትኩረት እነዚያ ጂፒዩዎች የቁልፍ/ዋጋ ብሎኮችን ቀለበት ዙሪያ በማለፍ ትክክለኛውን ትኩረት እንዲያሰሉ ያስችላቸዋል።
አጠቃላይ እይታ
Together they make million-token context windows feasible without any single GPU holding the whole sequence.
ጥልቅ ዳይቭ
መደበኛ ትኩረት እያንዳንዱን ቁልፍ/እሴት ለማየት እያንዳንዱን መጠይቅ ያስፈልገዋል፣ስለዚህ የማግበር ማህደረ ትውስታው በቅደም ተከተል ያድጋል እና ሙሉው K/V መገኘት አለበት። የተከታታይ ትይዩነት ቅደም ተከተሎችን ይሰብራል ስለዚህም እያንዳንዱ ጂፒዩ ተከታታይ የቶከኖች (እና ጥያቄዎቻቸው፣ ቁልፎቹ፣ እሴቶቻቸው) ባለቤት ይሆናሉ። የደወል ትኩረት ከዚያም ጂፒዩዎችን በሎጂካዊ ቀለበት ያዘጋጃል፡ እያንዳንዱ መሳሪያ የአካባቢ መጠይቆችን ሲያስተካክል የK/V ብሎኮች ቀለበቱ ላይ ሆፕ በሆፕ እንዲተላለፉ ያደርጋል። እያንዳንዱ ብሎክ ሲመጣ፣ ጂፒዩ ከፊል ትኩረት ያሰላል እና በመስመር ላይ-softmax (እንደ FlashAttention ተመሳሳይ ሩጫ ማክስ/ ድምር ዘዴ) በመጠቀም ውጤቶችን ይሰበስባል። ከሙሉ ምልልስ በኋላ፣ እያንዳንዱ መጠይቅ በትክክል እያንዳንዱን ቁልፍ ተከታትሏል፣ ምንም ጂፒዩ በጭራሽ ሙሉውን K/V አያከማችም። በወሳኝ ሁኔታ፣ የK/V ግንኙነት በስሌት ስለሚደራረብ ትንሽ የግድግዳ ሰዓት ወጪን ይጨምራል።
ቴክኒካዊ ግንዛቤ
የደወል ትኩረት በኦንላይን Softmax ላይ ይመሰረታል፡ ከፍተኛውን ሩጫ እና መደበኛ አሂድ ጠብቀው ሳለ ትኩረትን በብሎክ ሊሰላ ይችላል፣ ከዚያም ትልቅ እሴት ሲመጣ ቀደም ሲል ከፊል ድምርን እንደገና ማካካስ። ይህ ውጤቱን በሂሳብ ከሙሉ ትኩረት ጋር ተመሳሳይ ያደርገዋል። ቀለበቱ K/V tenors ብቻ ያልፋል (የመጠን ሚዛን ከብሎክ ጋር እንጂ ሙሉ ቅደም ተከተል አይደለም) እና እያንዳንዱ የሆፕ ኮሙኒኬሽን ያለፈውን የማገጃ ማትሙል ስለሚደራረብ የመተላለፊያ ይዘት - ማህደረ ትውስታ ሳይሆን - የሚገድበው ምክንያት ይሆናል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የወደፊት ቅደም ተከተል ትይዩነት እና የደወል ትኩረት
የተከታታይ ትይዩነት የረጅም ጊዜ አውድ ስልጠና እና ግንዛቤ መደበኛ እየሆነ ነው፣ ብዙ ጊዜ ከ tensor እና pipeline parallelism ወደ '4D' ወይም '5D' ትይዩ አቀማመጦች። እንደ ስቲድ ወይም ዚግዛግ ትኩረት ያሉ ተለዋዋጮች በምክንያት መሸፈኛ ምክንያት የሚፈጠረውን ሥራ ሚዛናቸውን ያደርጉታል። በNVLink ላይ ቶፖሎጂን የሚያውቁ ቀለበቶችን ይጠብቁ እና ከKV-cache ማውረጃ ጋር ጥብቅ ውህደትን፣ ተግባራዊ አውድ ርዝመቶችን ወደ አስር ሚሊዮኖች ለሚቆጠሩ መልሶ ማግኛ፣ ኮድ ቤዝ እና ረጅም ሰነዶች በመግፋት።
የእውነተኛ-ዓለም አተገባበር
እያንዳንዱን ቅደም ተከተል በ8 ጂፒዩዎች በሪንግ ትኩረት በመከፋፈል የ1M-ቶከን አውድ LLM ማሰልጠን
የሜጋትሮን-ኤልኤም ተከታታይ ትይዩ በ LayerNorm እና በማቋረጥ ክልሎች ውስጥ የማግበር ማህደረ ትውስታን ይቀንሳል
አንድ ሙሉ መጽሐፍ ወይም ትልቅ የኮድ ማከማቻ በአንድ ወደፊት ማለፊያ ሳይቆራረጥ በመስራት ላይ
የቀለበት ትኩረትን ከ tensor parallelism ጋር በማጣመር ባለብዙ ጂፒዩ መስቀለኛ መንገድ ላይ እጅግ በጣም ረጅም-አውድ መረጃን ለማስማማት
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sequence Parallelism and Ring Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለትልቅ ሞዴሎች የ Tensor Parallelism
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Sequence Parallelism and Ring Attention?
የተከታታይ ትይዩ አንድ ረጅም የግቤት ቅደም ተከተል በበርካታ ጂፒዩዎች ላይ ከቶከን (ጊዜ) ልኬት ጋር ይከፍላል፣ እና የደወል ትኩረት እነዚያ ጂፒዩዎች የቁልፍ/ዋጋ ብሎኮችን ቀለበት ዙሪያ በማለፍ ትክክለኛውን ትኩረት እንዲያሰሉ ያስችላቸዋል። አንድ ላይ ሆነው አንድም ጂፒዩ ሙሉውን ቅደም ተከተል ሳይይዝ በሚሊዮን የሚቆጠሩ ማስመሰያ መስኮቶችን ተግባራዊ ያደርጋሉ።
በቅደም ተከተል ትይዩነት ውሂቡን የሚከፋፈለው ከየትኛው ልኬት ጋር ነው?
የተከታታይ ትይዩነት በጂፒዩዎች ላይ አንድ ነጠላ ቅደም ተከተል ከቶከን/ሰዓት ዘንግ ጋር ይቆራረጣል፣ ስለዚህ እያንዳንዱ መሳሪያ ተከታታይ የቶከኖች ስብስብ አለው።
ቀለበት ትኩረት ቀለበት ውስጥ በተደረደሩ ጂፒዩዎች መካከል ምን ያልፋል?
እያንዳንዱ ጂፒዩ የአካባቢ መጠይቆቹን ተስተካክሎ ያስቀምጣል እና ቁልፍ/ዋጋ ብሎኮች hop-by-hop ቀለበቱን ዙሪያ በማለፍ እያንዳንዱ ጥያቄ በመጨረሻ እያንዳንዱን ቁልፍ ያያል።
ትኩረትን በብሎክ-በ-ብሎክ እንዲሰላ እና አሁንም ከሙሉ ትኩረት ጋር የሚዛመድ የትኛው ዘዴ ነው?
የመስመር ላይ ሶፍትማክስ ከፍተኛውን እና ድምርን ይከታተላል፣ እንደ አስፈላጊነቱ ከፊል ውጤቶችን እንደገና በማስፋት፣ በብሎክ-ጥበብ ያለው ስሌት ከሙሉ ትኩረት ጋር በቁጥር ተመሳሳይ ያደርገዋል።
ሙሉውን K/V ለማከማቸት የደወል ትኩረት ለምን ምንም ነጠላ ጂፒዩ አይፈልግም?
የK/V ብሎኮች እየጨመሩ ስለሚመጡ እና እያንዳንዱ ጂፒዩ ከፊል ትኩረት ስለሚከማች፣ ምንም አይነት መሳሪያ በአንድ ጊዜ የማህደረ ትውስታውን ሙሉ ቁልፍ/ዋጋ አያስፈልገውም።
የደወል ትኩረት እንዴት ነው ግንኙነትን የማስኬጃ ጊዜ እንዳይቆጣጠረው?
የእያንዳንዱ ሆፕ ኬ/ቪ ግንኙነት አሁን ላለው ብሎክ ከማትሪክስ ብዜቶች ጋር ተደራራቢ ነው፣ ስለዚህ የማስተላለፊያ ጊዜ በአብዛኛው ከኮምፒዩተር ጀርባ ተደብቋል።