ቀጣይነት ያለው ድብደባ
ቀጣይነት ያለው ባች ሙሉ ቋሚ ባች እስኪጠናቀቅ ድረስ ከመጠበቅ ይልቅ ከሩጫ ባች ቶከን-ቶከን የሚጨምር እና የሚያስወግድ የአገልግሎት ቴክኒክ ነው።
አጠቃላይ እይታ
It keeps the GPU constantly busy and sharply increases how many users an AI model can serve at once.
ጥልቅ ዳይቭ
ጂፒዩዎች በጣም ፈጣኖች ናቸው ብዙ ጥያቄዎችን በቡድን ሲያካሂዱ። የዋህ አቀራረብ፣ የማይንቀሳቀስ ባቺንግ፣ ቋሚ የጥያቄዎች ስብስብ ይመድባል፣ ሁሉንም ወደ ማጠናቀቅ ያካሂዳል፣ ከዚያም የሚቀጥለውን ስብስብ ይጀምራል። ችግሩ፡ የቋንቋ ሞዴል ውፅዓቶች በርዝመታቸው ስለሚለያዩ አጫጭር ጥያቄዎች ቀደም ብለው ይጠናቀቃሉ እና ክፍሎቻቸው ስራ ፈትተው ይቀመጣሉ ቡድኑ ረጅሙን ሲጠብቅ፣ የጂፒዩ ዑደቶችን በማባከን እና አዲስ መጤዎችን በማዘግየት። ቀጣይነት ያለው ድፍን (በበረራ ውስጥ ወይም የድግግሞሽ ደረጃ ባችንግ ተብሎም ይጠራል፣ በ Orca ወረቀት ታዋቂ እና በvLLM፣ TensorRT-LLM እና TGI ውስጥ ጥቅም ላይ የዋለ) በነጠላ የመግለጫ ደረጃ ጥራጥነት ይሰራል። እያንዳንዱ ማስመሰያ ከተፈጠረ በኋላ የተጠናቀቁ ቅደም ተከተሎች ከቡድን ይወጣሉ እና አዲስ የመጡ ጥያቄዎች ወዲያውኑ ወደ ውስጥ ይገባሉ። ይህ ባች ሙሉ እና ጂፒዩ እንዲሞላ ያደርገዋል፣ ብዙ ጊዜ በትርፍ ጊዜ ለሚጠባበቁ ተጠቃሚዎች ብዙ ጊዜ ብዛት ያሳድጋል።
ቴክኒካዊ ግንዛቤ
ዋናው ፈረቃ ሙሉ ጥያቄዎችን ከማዋሃድ ወደ ግለሰባዊ ድግግሞሾች ማሰባሰብ ነው። በእያንዳንዱ ደረጃ ዲኮድ መርሐግብር አውጪው ንቁውን ስብስብ ይገነባል፡ በበረራ ውስጥ ባሉ ሁሉም የጉዞ ቅደም ተከተሎች ላይ አንድ ወደፊት ማለፊያ ያካሂዳል፣ እያንዳንዱን አንድ ቶከን ያስወጣል፣ የፍጻሜውን ቶከን ወይም የርዝመት ገደብ ያደረሰውን ያስወጣል እና የተፈቱ ክፍተቶችን ለመሙላት የተሰለፉ ጥያቄዎችን ይቀበላል። ይህንን ከ PagedAttention ተለዋዋጭ KV ማህደረ ትውስታ ጋር ማጣመር በበረራ አጋማሽ ላይ ቅደም ተከተሎችን ማስገባት እና ማስወገድ ርካሽ ያደርገዋል፣ ምክንያቱም የእያንዳንዱ ተከታታይ መሸጎጫ በገለልተኛ ብሎኮች ውስጥ ይኖራል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
ቀጣይነት ያለው ድፍን የወደፊት ዕጣ
ቀጣይነት ያለው ባንግ አሁን በምርት LLM አገልግሎት መደበኛ ነው። የወደፊት ስራ መርሐግብር ሰሪውን ያጠራዋል፡- የኮምፕዩት-ከባድ ቅድመ-ሙላ ደረጃን ከቀላል ዲኮድ ምዕራፍ (መከፋፈል) መለየት፣ መፍታትን ለማስቀረት የተቆራረጡ ቅድመ-ሙላ፣ የተቀላቀሉ የስራ ጫናዎች ቅድሚያ እና ፍትሃዊ ፖሊሲዎች፣ እና ከግምታዊ ዲኮዲንግ ጋር ጥብቅ ትስስር በመፍጠር ብዙ ረቂቅ ቶከኖች በደረጃ ይረጋገጣሉ። ግቡ የግለሰብ ምላሽ መዘግየት ዝቅተኛ እና ሊገመት የሚችል ሆኖ ሳለ በአንድ ጂፒዩ ከፍተኛውን ቶከን-በሴኮንድ መጭመቅ ነው።
የእውነተኛ-ዓለም አተገባበር
የውይይት ኤፒአይ አዲስ የደረሱ የተጠቃሚ መልዕክቶችን ለቀጣዩ ባች ከማሰለፍ ይልቅ ወዲያውኑ ወደ ሩጫው ባች ይቀበላል።
አጭር የተጠናቀቀ መልስን በቡድን መሃል በማስወጣት እና ክፍተቱን በመሙላት ጂፒዩ መቼም ቢሆን ረጅም ትውልድ ሲጠብቅ
ቀጣይነት ያለው ድፍን ከ vLLM ገጽድ ትኩረት ጋር በማጣመር ቅደም ተከተሎችን በርካሽ በእያንዳንዱ ደረጃ መፍታት
ከፍተኛ ምልክቶችን በሰከንድ የሚይዝ የኮድ ማጠናቀቂያ አገልግሎት በተፈነዳና በተለዋዋጭ ርዝመት ያለው ትራፊክ ክፍሎቹን እንዲሞላ በማድረግ
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Continuous Batching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
Kubernetes ለ ML የስራ ጭነቶች
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Continuous Batching?
ቀጣይነት ያለው ባች ሙሉ ቋሚ ባች እስኪጠናቀቅ ድረስ ከመጠበቅ ይልቅ ከሩጫ ባች ቶከን-ቶከን የሚጨምር እና የሚያስወግድ የአገልግሎት ቴክኒክ ነው። ጂፒዩ ያለማቋረጥ ስራ እንዲበዛበት ያደርገዋል እና ምን ያህል ተጠቃሚዎች የ AI ሞዴል በአንድ ጊዜ ማገልገል እንደሚችሉ በከፍተኛ ሁኔታ ይጨምራል።
ለኤል.ኤም.ኤም አገልግሎት የማይለዋወጥ (ቋሚ) መጋገር ዋና ድክመት ምንድነው?
የውጤት ርዝመቶች ስለሚለያዩ፣ የተጠናቀቁ ቅደም ተከተሎች በጣም ቀርፋፋው እስኪጠናቀቅ ድረስ ስራ ፈትተው ይቀመጣሉ፣ የጂፒዩ ዑደቶችን ያባክናሉ እና አዲስ ጥያቄዎችን ይዘገያሉ።
ቀጣይነት ያለው ድፍን በምን ዓይነት ጥራጥሬነት ጥያቄዎችን ይጨምራል እና ያስወግዳል?
ቀጣይነት ያለው (የድግግሞሽ-ደረጃ) ባንግ ከእያንዳንዱ ነጠላ የመፍታታት እርምጃ በኋላ ገባሪውን ስብስብ ያዘምናል፣ ስለዚህ ከጥያቄው ይልቅ ማስመሰያ በቶከን ይሰራል።
ተከታታይ ባች በተከታታይ ባች ስር ሲጨርስ በውስጡ ማስገቢያ ምን ይሆናል?
የተጠናቀቁ ቅደም ተከተሎች ይባረራሉ እና የመጠበቂያ ጥያቄዎች ወዲያውኑ ይዘጋሉ, ይህም ባች ሙሉ እና ጂፒዩ ስራ ላይ እንዲውል ያደርጋል.
ቅደም ተከተሎችን ማስገባት/ማስወገድ ርካሽ ለማድረግ በተፈጥሮ ከተከታታይ ድፍን ጋር የሚያጣምረው የትኛው ዘዴ ነው?
PagedAttention የእያንዳንዱን ተከታታይ KV መሸጎጫ በገለልተኛ ብሎኮች ያከማቻል፣ ስለዚህ በበረራ መሃል ላይ ቅደም ተከተል መጨመር ወይም ማስወገድ የሌሎችን ትውስታ አይረብሽም።
የመድገም ደረጃ (ቀጣይነት ያለው) ባቺንግ በስፋት ታዋቂ እንዲሆን ያደረገው የትኛው የምርምር ወረቀት ነው?
የኦርካ ወረቀት የድግግሞሽ ደረጃ መርሐግብርን አስተዋውቋል፣ እና ሀሳቡ እንደ vLLM፣ TGI እና TensorRT-LLM ባሉ ስርዓቶች በማገልገል ተቀባይነት አግኝቷል።