SmoothQuant እና ማግበር Quantization
SmoothQuant ትልቅ የቋንቋ ሞዴሎችን ወደ 8-ቢት ኢንቲጀር ለሁለቱም ክብደቶች እና ማግበር ያለዳግም ስልጠና ለመጭመቅ የሚያስችል ዘዴ ነው።
አጠቃላይ እይታ
It matters because activations in big models contain extreme outliers that normally wreck low-precision math, and SmoothQuant tames them.
ጥልቅ ዳይቭ
አንድን ሞዴል ከ16-ቢት ተንሳፋፊ ወደ 8-ቢት ኢንቲጀር ሲቀንሱ ክብደቶች በቀላሉ ይጨመቃሉ ነገርግን ማግበር ችግር አለባቸው፡ የተወሰኑ ቻናሎች ዋጋቸውን ከ10 እስከ 100 እጥፍ የሚበልጡ ናቸው እና ወደ ሻካራ ኢንቲጀር ፍርግርግ ማስገደድ ትክክለኛነትን ያጠፋል። SmoothQuant፣ በ Xiao et al አስተዋወቀ። እ.ኤ.አ. በ 2022 ክብደቶች ለስላሳ እና ለመለካት ቀላል ሲሆኑ አነቃቂዎች ስፒል እንደሆኑ ተመልክቷል። ስለዚህ በሒሳብ ችግርን ያፈልሳል፡ የማግበር ቻናሎችን በአንድ ቻናል ሚዛን ይከፋፍላል እና ተጓዳኝ ክብደቶችን በተመሳሳይ ሚዛን ያባዛል። ሁለቱ ክዋኔዎች ተሰርዘዋል፣ የአምሳያው ውፅዓት ሳይለወጥ ይተዋል፣ አሁን ግን ሁለቱም ተንከሮች በወዳጃዊ ክልል ውስጥ ተቀምጠዋል። ውጤቱ W8A8 (8-ቢት ክብደቶች እና ማግበር) ወደ ዜሮ ቅርብ ትክክለኛነት ማጣት እና በግምት 2x ፍጥነት እና የማስታወሻ ቁጠባዎች ግምት ነው።
ቴክኒካዊ ግንዛቤ
ዋናው ብልሃቱ በሰርጥ ማለስለስ ምክንያት s = max(|X|)^alpha /max(|W|)^(1-አልፋ) ይሰላል። ማግበር በ1/ሰ እና ክብደቶች በ s ነው የሚመዘኑት ስለዚህ የማትሪክስ ምርቱ XW ተጠብቆ ይቆያል። ምክንያቱም ልኬቱ ከመስመር ውጭ ወደ ቀዳሚው የንብርብር ክብደት ወይም የተቀናጀ አሰራር ስለሚዋሃድ፣ ዜሮ የማስኬጃ ወጪን ይጨምራል። የአልፋ ሃይፐርፓራሜትር (ብዙውን ጊዜ 0.5) ምን ያህል ውጫዊ ሸክም ከማግበር ወደ ክብደት እንደሚሸጋገር ይቆጣጠራል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የSmoothQuant እና የማንቃት ኩንትላይዜሽን የወደፊት ዕጣ
SmoothQuant የማግበሪያ ወጣ ገባዎች ማስቀረት ከማይቻል ይልቅ ሊሰደዱ እንደሚችሉ አረጋግጧል፣ እና ያ ሀሳብ አሁን ምርት INT8 እና FP8 አገልግሎትን ይደግፋል። ማለስለስ ከጥሩ-ጥራጥሬ እቅዶች እንደ በቡድን መቁጠር፣ የተማረ ልኬት እና ባለ 4-ቢት ማግበር ምርምር (ለምሳሌ ከውጪ የሚያውቁ ዘዴዎች) ጋር እንደሚጣመር ይጠብቁ። FP8 ሃርድዌር (ሆፔር፣ ብላክዌል) እየበሰለ ሲሄድ፣ የማለስለስ አይነት ማመጣጠን ወደ ኮምፕሌተር እና ኢንቬንሽን-ሞተር ቧንቧ መስመሮች መጋገር ይቀጥላል ስለዚህ የመጠን መጠኑ ነፃ ይሆናል።
የእውነተኛ-ዓለም አተገባበር
70B-parameter LLM በ W8A8 ባነሰ ጂፒዩዎች ሁለቱንም የማህደረ ትውስታ እና ማትሪክስ - በማባዛት ማገልገል።
8-ቢት ኢንቲጀር ሒሳብን በተፈጥሮ የሚያፋጥኑ በNVadi Hopper/Blackwell tensor ኮሮች ላይ የ INT8 ግንዛቤን ማንቃት
የውይይት ሞዴሎችን በወጪ በተገደቡ የደመና መጨረሻ ነጥቦች ላይ ማሰማራት በእጥፍ መጨመር የአንድ-ቶከን ክፍያን በቀጥታ በሚቀንስበት ቦታ ላይ
8-ቢት ከርነሎች በፍጥነት እና ቀዝቃዛ በሆነበት በመሳሪያ ላይ ንግግር ወይም ለትርጉም ትራንስፎርመር ኢንኮደሮችን መጭመቅ
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SmoothQuant and Activation Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
አግብር መሪ እና ውክልና ምህንድስና
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is SmoothQuant and Activation Quantization?
SmoothQuant ትልቅ የቋንቋ ሞዴሎችን ወደ 8-ቢት ኢንቲጀር ለሁለቱም ክብደቶች እና ማግበር ያለዳግም ስልጠና ለመጭመቅ የሚያስችል ዘዴ ነው። በትልልቅ ሞዴሎች ውስጥ ያሉ ማነቃቂያዎች ዝቅተኛ-ትክክለኛነት ያለው ሂሳብን የሚሰብሩ እና SmoothQuant ስለሚያስቸግራቸው በጣም አስፈላጊ ነው።
SmoothQuant በዝቅተኛ ትክክለኝነት ውስጥ ምን ችግርን ይመለከታል?
SmoothQuant በተወሰኑ የማግበር ቻናሎች ላይ የሚታዩትን ትላልቅ የውጭ ዋጋዎችን ያነጣጠረ ነው፣ ይህ ካልሆነ ግን ማግበር ወደ 8 ቢት ሲቆጠር ትክክለኛነትን ያጠፋል።
SmoothQuant እንዴት በቁጥር ለመለካት ቀላል የሚያደርገው?
የማግበሪያ ቻናሎችን በሰርጥ ሚዛን ይከፋፍላል እና ተዛማጅ ክብደቶችን በዚያ ሚዛን ያባዛል፣ ስለዚህ ምርቱ አልተለወጠም ነገር ግን ሁለቱም ተንከሮች ለመለካት ቀላል ይሆናሉ።
W8A8 የሚለው ምልክት ምን ማለት ነው?
W8A8 ለሁለቱም ክብደቶች (ደብሊው) እና ማግበር (A) ባለ 8-ቢት መቁጠርን ያመለክታል፣ የገዥው አካል SmoothQuant በትንሹ ትክክለኛነትን ማጣት ያስችላል።
ለምንድነው የSmoothQuant's scaling በመሠረቱ ምንም የሩጫ ጊዜ አይጨምርም?
የማለስለስ ሚዛኖች ወደ ቀዳሚው የንብርብር ክብደት ወይም ወደተጣመረ ኦፕ ቀድመው ይታጠፉ፣ ስለዚህ ምንም ተጨማሪ ስሌት በምርመራ አይከሰትም።
በSmoothQuant ውስጥ የአልፋ ሃይፐርፓራሜትር ምን ሚና ይጫወታል?
አልፋ (በተለምዶ 0.5) የማለስለስ ሁኔታን ያስተካክላል፣ ምን ያህል የመጠን ችግር ከእንቅስቃሴዎች እና ወደ ክብደቶች እንደሚንቀሳቀስ ይወስናል።