የቴክኒክ መመሪያ

የተከፋፈለ ቅድመ-ሙላ እና ማገልገልን መፍታት

ትልቅ የቋንቋ ሞዴል ግንዛቤን ወደ ሁለት የተለያዩ ደረጃዎች የሚከፍል - ቅድመ-ሙላ እና ኮድ - እና በተለያዩ የጂፒዩዎች ገንዳዎች ላይ የሚያስኬድ የአገልግሎት አርክቴክቸር።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው ጁን 2 2026

አጠቃላይ እይታ

It matters because these two phases have opposite hardware appetites, and forcing them onto the same machines wastes capacity and hurts latency.

ጥልቅ ዳይቭ

LLM ሲመልስ፣ በሁለት ደረጃዎች ይሰራል። ቅድመ-ሙላ ሁሉንም መጠየቂያውን በአንድ ጊዜ ያነባል እና የቁልፍ እሴት (KV) መሸጎጫ ይገነባል; ይህ የጂፒዩ ሒሳብ ክፍሎችን የሚሞላ ትልቅ፣ ትይዩ፣ በስሌት የታሰረ ፍንዳታ ነው። ከዚያም ዲኮድ አንድ በአንድ ቶከኖችን ያመነጫል፣ እያንዳንዱ እርምጃ ሙሉውን የKV መሸጎጫ ያነባል። አብራችሁ ሩጡ፣ ረጅም ቅድመ ሙሌት የሁሉንም ሰው ዲኮድ ያቆማል (የመስመር መስመርን ማገድ) እና ሁለቱን መጠቅለል ጣልቃ ገብነትን ይፈጥራል። መለያየት በአንድ የጂፒዩ ፑል ላይ ቅድመ መሙላትን ያስቀምጣል እና በሌላ ላይ የ KV መሸጎጫውን በመካከላቸው እንደ NVLink ወይም InfiniBand ባሉ ፈጣን ማገናኛዎች ያስተላልፋል። እያንዳንዱ ገንዳ በተናጥል የተስተካከለ እና ሚዛኑን የጠበቀ ነው፣ ጥሩ ምርትን ያሻሽላል፣ የጅራት መዘግየትን ያስተካክላል፣ እና ኦፕሬተሮች ከግዜ እስከ መጀመሪያ ማስመሰያ እና የውጤት ማስመሰያ ዒላማዎችን በአንድ ጊዜ እንዲመታ ያስችላቸዋል።

ቴክኒካዊ ግንዛቤ

ሁለቱ ደረጃዎች በእቅፋቸው ይለያያሉ. ቅድመ-ሙላ ሁሉንም ፈጣን ቶከኖች በትይዩ ያስኬዳል፣ ስለዚህ የእሱ FLOPs በፈጣን ርዝመት ይመዝናል እና ከፍተኛውን የ tensor ኮሮችን ያበዛል። ዲኮድ አውቶማቲክ ነው፡ እያንዳንዱ አዲስ ማስመሰያ ሙሉውን የKV cache ከHBM ደግመን የሚያነብ አንድ ወደፊት ማለፊያ ያስፈልገዋል፣ስለዚህ ውፅዓት የሚሸፈነው በማስታወሻ ባንድዊድዝ ነው እንጂ በማስላት አይደለም። መለያየት ይህንን በመጠን ፣ በመመደብ እና ለእያንዳንዱ ገንዳ የተለያዩ ትይዩዎችን በመምረጥ ይጠቀማል ፣ ከዚያም የ KV ካሼን ከቅድመ-ሙላ ሰራተኞች በማጓጓዝ ሰራተኞችን መፍታት።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የወደፊቱ የተከፋፈለ ቅድመ-ሙላ እና ማገልገልን መፍታት

መለያየት በምርት ቁልል ውስጥ ነባሪ እንደሚሆን ይጠብቁ። እንደ DistServe፣ Splitwise እና Mooncake ያሉ ስርዓቶች ታዋቂ አድርገውታል፣ እና vLLM እና NVIDIA Dynamo አሁን የተከፋፈሉ ሁነታዎችን ይልካሉ። ምርምር የKV-cache ማስተላለፍ ማሻሻያዎችን መግፋት፣ መሸጎጫ መሰብሰብ እና በጥያቄዎች ላይ እንደገና ጥቅም ላይ ማዋል፣ በተለዋዋጭ ትራፊክ ውስጥ የቅድመ-ሙላ/የመግለጫ ሬሾዎችን ተለዋዋጭ ዳግም ማመጣጠን እና ከቅድመ-ቅጥያ መሸጎጫ እና ከተሰነጠቀ ቅድመ-ሙላ ጋር ጥብቅ ውህደት ነው። የአውድ መስኮቶች ወደ ሚሊዮኖች የሚቆጠሩ ቶከኖች እያደጉ ሲሄዱ፣ እነዚህን ደረጃዎች መለየት ለዋጋ ቆጣቢ፣ ዝቅተኛ መዘግየት አገልግሎት በጣም አስፈላጊ ይሆናል።

የእውነተኛ-ዓለም አተገባበር

የውይይት ረዳት ረጅም ሰነድን ወደ ስሌት-ከባድ የቅድመ-መሙያ ክላስተር ይጠይቃል፣ከዚያም የመተየብ መዘግየት ለስላሳ እንዲሆን ከማስታወሻ-የተመቻቸ የመግለጫ ክላስተር ምላሾችን ይልቀቁ።

NVIDIA Dynamo እና vLLM ኦፕሬተሮች የተለየ ቅድመ-ሙላ እንዲያሰማሩ እና የሰራተኛ ቡድኖችን መፍታት እንዲችሉ የረዥም ጥቆማዎች ፍንዳታ ቀጣይ ትውልዶችን እንዳይቀዘቅዝ ይፈቅዳሉ።

ሙንኬክ (በMoonshot AI's Kimi ጥቅም ላይ የሚውለው) ቅድመ-ሙላ እና ኮድ መፍታት እና የተከፋፈለ የKV-cache ፑል በመጨመር ያልተደጋገመ ፈጣን ዳግም ማስላትን በመለኪያ ያክላል።

አብዛኛው ወጪ የሚመጣው ብዙ የውጤት ቶከኖችን በማሰራጨት ስለሆነ የኮድ ማጠናቀቂያ አገልግሎት ትንሽ ቅድመ-ሙላ ገንዳ ለአጭር ጊዜ ጥያቄዎች እና ለትልቅ ዲኮድ ገንዳ ይሰጣል።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Disaggregated Prefill and Decode Serving quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

KServe እና ሞዴል በኩበርኔትስ ማገልገል

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Disaggregated Prefill and Decode Serving?

ትልቅ የቋንቋ ሞዴል ግንዛቤን ወደ ሁለት የተለያዩ ደረጃዎች የሚከፍል - ቅድመ-ሙላ እና ኮድ - እና በተለያዩ የጂፒዩዎች ገንዳዎች ላይ የሚያስኬድ የአገልግሎት አርክቴክቸር። አስፈላጊ ነው ምክንያቱም እነዚህ ሁለት ደረጃዎች የሃርድዌር የምግብ ፍላጎት ተቃራኒዎች ስላሏቸው እና ወደ ተመሳሳይ ማሽኖች ማስገደድ አቅምን ያባክናል እና መዘግየትን ይጎዳል።

በተለያዩ የጂፒዩ ገንዳዎች ላይ ቅድመ-ሙላ እና ኮድ መፍታት የምንለይበት ዋናው የሃርድዌር ምክንያት ምንድን ነው?

ቅድመ-ሙላ ሙሉውን ጥያቄ በትይዩ ያስኬዳል እና ያሰላታል፣ ዲኮድ ደግሞ የKV መሸጎጫውን በእያንዳንዱ ደረጃ ያነባል እና በማህደረ ትውስታ ባንድዊድዝ የተገደበ ነው-የተለያዩ እና የተስተካከሉ ገንዳዎችን የሚያረጋግጡ ተቃራኒ የምግብ ፍላጎቶች።

ከቅድመ-ሙላ ሰራተኞች የሰራተኞችን ኮድ ለማውጣት ምን አይነት የውሂብ መዋቅር ማስተላለፍ አለበት?

ቅድመ-ሙላ ለፈጣኑ የ KV መሸጎጫ ይገነባል; ዲኮድ ማመንጨት እንዲቀጥል ያ መሸጎጫ ያስፈልገዋል፣ ስለዚህ መሸጎጫው በፍጥነት ወደ ኮዱ ፑል ግንኙነት ይላካል።

በተለይ በጋራ ጂፒዩ ማዋቀር ውስጥ መለያየት የሚቀንስ የትኛው ችግር ነው?

በጋራ ጂፒዩዎች ላይ ረጅም የቅድመ-ሙላ ፍንዳታ በመካሄድ ላይ ያሉ የኮድ መፍታት እርምጃዎችን ሊያግድ ይችላል። እነሱን መለየት ያንን ጣልቃ ገብነት ይከላከላል እና የጅራት መዘግየትን ያረጋጋል።

ለምንድ ነው ቅድመ-ሙላ በጠንካራ ሁኔታ ሊመታ የሚችለው ግን ከተለያዩ ማስተካከያዎች ጥቅማጥቅሞችን መፍታት የሚቻለው?

ቅድመ-ሙላ ሁሉንም ቶከኖች በአንድ ላይ ያስኬዳል፣ ስለዚህ ትላልቅ ስብስቦች የ tensor ማዕከሎችን በደንብ ይመገባሉ; ዲኮድ በአንድ ጊዜ አንድ ቶከን ያመነጫል እና በማህደረ ትውስታ የተዘጋ ነው, ስለዚህ በተለየ መንገድ ይመዘናል.

የ KV መሸጎጫውን በተከፋፈሉ ገንዳዎች መካከል ለማንቀሳቀስ የትኞቹ ማገናኛዎች በተለምዶ ጥቅም ላይ ይውላሉ?

የKV-cache ማስተላለፍ አዲሱ ማነቆ እንዳይሆን ባለከፍተኛ ባንድዊድዝ፣ዝቅተኛ መዘግየት ያሉ እንደ NVLink (intra-node) እና InfiniBand (ኢንተር-ኖድ) ያስፈልጋሉ።