አጠቃላይ እይታ
SmoothQuant ትልቅ የቋንቋ ሞዴሎችን ወደ 8-ቢት ኢንቲጀር ለሁለቱም ክብደቶች እና ማግበር ያለዳግም ስልጠና ለመጭመቅ የሚያስችል ዘዴ ነው። በትልልቅ ሞዴሎች ውስጥ ያሉ ማነቃቂያዎች ዝቅተኛ-ትክክለኛነት ያለው ሂሳብን የሚሰብሩ እና SmoothQuant ስለሚያስቸግራቸው በጣም አስፈላጊ ነው።
SmoothQuant and Activation Quantization የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው።
ጥልቅ ዳይቭ
አንድን ሞዴል ከ16-ቢት ተንሳፋፊ ወደ 8-ቢት ኢንቲጀር ሲቀንሱ ክብደቶች በቀላሉ ይጨመቃሉ ነገርግን ማግበር ችግር አለባቸው፡ የተወሰኑ ቻናሎች ዋጋቸውን ከ10 እስከ 100 እጥፍ የሚበልጡ ናቸው እና ወደ ሻካራ ኢንቲጀር ፍርግርግ ማስገደድ ትክክለኛነትን ያጠፋል። SmoothQuant፣ በ Xiao et al አስተዋወቀ። እ.ኤ.አ. በ 2022 ክብደቶች ለስላሳ እና ለመለካት ቀላል ሲሆኑ አነቃቂዎች ስፒል እንደሆኑ ተመልክቷል። ስለዚህ በሒሳብ ችግርን ያፈልሳል፡ የማግበር ቻናሎችን በአንድ ቻናል ሚዛን ይከፋፍላል እና ተጓዳኝ ክብደቶችን በተመሳሳይ ሚዛን ያባዛል። ሁለቱ ኦፕሬሽኖች ተሰርዘዋል፣ የአምሳያው ውፅዓት ሳይለወጥ ይተዋል፣ አሁን ግን ሁለቱም ተንከሮች በወዳጅነት ክልል ውስጥ ተቀምጠዋል። ውጤቱ W8A8 (8-ቢት ክብደቶች እና ማግበር) ወደ ዜሮ ቅርብ ትክክለኛነት ማጣት እና በግምት 2x ፍጥነት እና የማስታወሻ ቁጠባዎች ግምት ነው።
ቴክኒካዊ ግንዛቤ
ዋናው ብልሃቱ በሰርጥ ማለስለስ ምክንያት s = max(|X|)^alpha /max(|W|)^(1-አልፋ) ይሰላል። ማግበር በ1/ሰ እና ክብደቶች በ s ነው የሚመዘኑት ስለዚህ የማትሪክስ ምርት XW ተጠብቆ ይቆያል። ምክንያቱም ልኬቱ ከመስመር ውጭ ወደ ቀዳሚው የንብርብር ክብደት ወይም የተቀናጀ አሰራር ስለሚዋሃድ፣ ዜሮ የማስኬጃ ወጪን ይጨምራል። የአልፋ ሃይፐርፓራሜትር (ብዙውን ጊዜ 0.5) ምን ያህል ውጫዊ ሸክም ከማግበር ወደ ክብደት እንደሚሸጋገር ይቆጣጠራል።
SmoothQuant እና ማግበር ኳንቲዜሽን ማስተር
SmoothQuant ትልቅ የቋንቋ ሞዴሎችን ወደ 8-ቢት ኢንቲጀር ለሁለቱም ክብደቶች እና ማግበር ያለዳግም ስልጠና ለመጭመቅ የሚያስችል ዘዴ ነው። በትልልቅ ሞዴሎች ውስጥ ያሉ ማነቃቂያዎች ዝቅተኛ-ትክክለኛነት ያለው ሂሳብን የሚሰብሩ እና SmoothQuant ስለሚያስቸግራቸው በጣም አስፈላጊ ነው። SmoothQuant and Activation Quantization የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው። ጥልቅ ግንዛቤን ለመገንባት፣ SmoothQuant እና Activation Quantizationን እንደ ኦፕሬሽን ሞዴል ይያዙ፣ አንድ ባህሪ ሳይሆን፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ፣ እና ስርዓቱ አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር ለይተው በአስተማማኝ ሁኔታ ሊሰሩ ይችላሉ።
በተግባር፣ SmoothQuant እና Activation Quantization የሚጠቀሙ ጠንካራ ቡድኖች የአርክቴክቸር፣የመረጃ እና የመሠረተ ልማት ምርጫዎችን ከአስተማማኝነት እና ከወጪ ጋር ያሻሽላሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. በተመሳሳይ ጊዜ፣ አንድ ቤንችማርክን ማሻሻል ሰፋ ያሉ የስርዓት ድክመቶችን መደበቅ ይችላል። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
70B-parameter LLM በ W8A8 ባነሰ ጂፒዩዎች ሁለቱንም የማህደረ ትውስታ እና ማትሪክስ - በማባዛት ማገልገል።
8-ቢት ኢንቲጀር ሒሳብን በተፈጥሮ የሚያፋጥኑ በNVadi Hopper/Blackwell tensor ኮሮች ላይ የ INT8 ግንዛቤን ማንቃት
የውይይት ሞዴሎችን በወጪ በተገደቡ የደመና መጨረሻ ነጥቦች ላይ ማሰማራት በእጥፍ መጨመር የአንድ-ቶከን ክፍያን በቀጥታ በሚቀንስበት ቦታ ላይ
8-ቢት ከርነሎች በፍጥነት እና ቀዝቃዛ በሆነበት በመሳሪያ ላይ ንግግር ወይም ለትርጉም ትራንስፎርመር ኢንኮደሮችን መጭመቅ
የትግበራ ቅጦች
SmoothQuant እና Activation Quantization በተግባር
የ70B-parameter LLMን በW8A8 ባነሰ ጂፒዩዎች ሁለቱንም የማህደረ ትውስታ እና የማትሪክስ -ማባዛት ወጪን በመቀነስ ማገልገል።
70B-parameter LLM ን በW8A8 ባነሰ ጂፒዩዎች ማገልገል ሁለቱንም የማስታወስ እና የማትሪክስ ማባዛት ወጪን በግማሽ በመቀነስ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲወስኑ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቃሉ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
SmoothQuant እና Activation Quantization በተግባር
8-ቢት ኢንቲጀር ሒሳብን ቤተኛ በሚያፋጥኑ በNVadi Hopper/Blackwell tensor ኮሮች ላይ የ INT8 ግንዛቤን ማንቃት።
ባለ 8-ቢት ኢንቲጀር ሂሳብ ቡድን በአገርኛ ደረጃ የሚያፋጥኑ የ INT8 ግንዛቤን በNVadi Hopper/Blackwell tensor ማዕከሎች ላይ ማንቃት ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲወስኑ የተሻለ ውጤት ያገኛሉ፣ ለጫፍ ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቃሉ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
SmoothQuant እና Activation Quantization በተግባር
የውይይት ሞዴሎችን በዋጋ በተገደቡ የደመና መጨረሻ ነጥቦች ላይ ማሰማራት በእጥፍ መጠን መጨመር የአንድ-ቶከን ክፍያን በቀጥታ የሚቀንስ።
የውይይት ሞዴሎችን በዋጋ በተገደቡ የደመና መጨረሻ ነጥቦች ላይ ማሰማራት በእጥፍ መጨመር የአንድ-ቶከን ክፍያን በቀጥታ በሚቀንስበት ጊዜ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻሉ ውጤቶችን ያገኛሉ ፣ ለጫፍ ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቁ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
SmoothQuant እና Activation Quantization በተግባር
8-ቢት ከርነሎች በበለጠ ፍጥነት እና ቀዝቃዛ በሆነበት በመሳሪያ ላይ ንግግር ወይም ለትርጉም ትራንስፎርመር ኢንኮደሮችን መጭመቅ።
በመሳሪያ ላይ ንግግር ወይም ለትርጉም ትራንስፎርመር ኢንኮደሮችን መጭመቅ ባለ 8 ቢት ከርነሎች በፍጥነት የሚሰሩበት እና ቀዝቃዛ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ ፣ ለጫፍ ጉዳዮች የሰውን እድገት መንገድ ያቆዩ ፣ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።