GPTQ እና AWQ የድህረ-ስልጠና ብዛት
GPTQ እና AWQ ቀደም ሲል የሰለጠኑ የቋንቋ ሞዴሎችን ወደ 4-ቢት ትክክለኛነት ለመቀነስ ሁለት መሪ ዘዴዎች ናቸው ስለዚህ በርካሽ በትንሽ ሃርድዌር ይሰራሉ።
አጠቃላይ እይታ
They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.
ጥልቅ ዳይቭ
የድህረ-ስልጠና መጠን (PTQ) የተጠናቀቀውን ሞዴል እንደገና ሳያሰለጥነው ጨምቆ፣ ከፍተኛ ትክክለኛነት ያላቸውን ክብደቶች እስከ 4 ቢት እስከ ሩብ የሚደርስ ማህደረ ትውስታን ያዘጋጃል። ተግዳሮቱ ይህን ማድረግ ትክክለኛነትን ሳያበላሹ ነው. GPTQ (የ OBQ ማጣራት) የክብደት ንብርብሩን በንብርብር ይለካል፣ ከትንሽ የካሊብሬሽን ዳታ ስብስብ የሁለተኛ ደረጃ መረጃ በመጠቀም የተቀሩትን ክብደቶች ለማስተካከል እና ለእያንዳንዱ የማዞሪያ ስህተት ማካካሻ። AWQ (Activation-Aware Weight Quantization) የተለየ ማዕዘን ይወስዳል፡ ጥቂት የክብደት ቻናሎች ያልተመጣጠነ ጠቀሜታ ያላቸው፣ የማግበር መጠንን በመመልከት ተለይተው የሚታወቁ እና እነዚያን ጉልህ የሆኑ ቻናሎች በኃይል ከመለካት ይልቅ በመጠን ይጠብቃሉ። ሁለቱም እንደ ላማ ያሉ ሞዴሎች በ4-ቢት እንዲሄዱ ፈቅደዋል፣ እና እንደ vLLM፣ llama.cpp እና AutoGPTQ ያሉ መሳሪያዎች ለአካባቢያዊ እና ወጪ ቆጣቢ ግምቶች ዋና ዋና እንዲሆኑ አድርጓቸዋል።
ቴክኒካዊ ግንዛቤ
GPTQ የሄሲያን (የኪሳራ ጥምዝ) መጠጋጋትን ይጠቀማል፣ አንድ ክብደት እንዴት ማጠጋጋት ሌላውን መጎተት እንዳለበት፣ ይህም የተፈጠረውን ስህተት በመቀነስ። AWQ ሄሲያንን ሙሉ በሙሉ ይዘላል፡ አስፈላጊ የክብደት ቻናሎች ውጤታማ ትክክለታቸውን እንዲጠብቁ፣ ከዚያም ወጥ በሆነ መልኩ እንዲለካ የየሰርጥ ልኬት ሁኔታን ያሰላል። ክብደቶች የማስታወስ ችሎታን ስለሚቆጣጠሩ ሁለቱም እንቅስቃሴዎችን በከፍተኛ ትክክለኛነት ያቆዩታል እና ክብደቶችን ብቻ ያጠምቃሉ።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የ GPTQ እና AWQ የድህረ-ስልጠና ብዛት የወደፊት ዕጣ
ኳንትራይዜሽን ከ4 ቢት በታች ወደ 3-ቢት፣ 2-ቢት እና ድብልቅ-ትክክለኛነት ዕቅዶች እየገፋ ነው፣ ብዙ ጊዜ ከብልጭታ ጋር ይጣመራል። ከአገልግሎት ሰጪ ሞተሮች ጋር መቀራረብ፣ የ KV-cache መጭመቂያ እና ግምታዊ ኮድ መፍታት አብረው እንደሚሠሩ ይጠብቁ። እንደ NVFP4 እና MXFP4 ላሉት ዝቅተኛ ቢት ቅርጸቶች የሃርድዌር ድጋፍ እየበሰለ ነው፣ እና አውቶማቲክ መሳሪያዎች በእያንዳንዱ ንብርብር ቢት ስፋቶችን እየጨመሩ ይሄዳሉ። ሰፊው ግብ ለኪሳራ ቅርብ የሆነ 4-ቢት (እና ዝቅተኛ) እንደ ነባሪ፣ ጠንካራ ሞዴሎችን በሁሉም ቦታ ለማገልገል ርካሽ ያደርገዋል።
የእውነተኛ-ዓለም አተገባበር
ባለ 70-ቢሊየን መለኪያ ላማ ሞዴል በአንድ ባለ 24 ጂቢ የሸማች ጂፒዩ ላይ ባለ 4-ቢት GPTQ ክብደቶችን በማሄድ ላይ።
AWQ በቁጥር የተያዙ ሞዴሎች ለዋጋ ቆጣቢ የምርት ኤፒአይዎች በvLLM ውስጥ በከፍተኛ ፍጥነት ያገለግላሉ።
llama.cpp የቋንቋ ሞዴሎችን በላፕቶፕ ሲፒዩ ላይ ለማስኬድ በቁጥር የተሰሩ GGUF ክብደቶችን በመጠቀም።
Face's AutoGPTQ እና AutoAWQ ቤተ-መጻሕፍትን ማቀፍ ገንቢዎች የወረደውን ሞዴል በጥቂት የኮድ መስመሮች ውስጥ እንዲቆጥሩ ያስችላቸዋል።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GPTQ and AWQ Post-Training Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለሥልጠና መረጃ አተያይ ተጽዕኖ ተግባራት
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is GPTQ and AWQ Post-Training Quantization?
GPTQ እና AWQ ቀደም ሲል የሰለጠኑ የቋንቋ ሞዴሎችን ወደ 4-ቢት ትክክለኛነት ለመቀነስ ሁለት መሪ ዘዴዎች ናቸው ስለዚህ በርካሽ በትንሽ ሃርድዌር ይሰራሉ። ከዳታ ሴንተር መደርደሪያ ይልቅ በአንድ የሸማች ጂፒዩ ላይ ብቃት ያለው ሞዴል ማሄድ የምትችሉት ለዚህ ነው።
'ድህረ-ስልጠና መጠን' ማለት ምን ማለት ነው?
የድህረ-ስልጠና መጠን ከባዶ ሳይሰለጥኑ የተጠናቀቀውን ሞዴል ክብደት (ለምሳሌ እስከ 4 ቢት) ትክክለኛነትን ይቀንሳል።
GPTQ በመጠን ሲደረግ የማጠጋጋት ስህተቶችን ለማካካስ ምን መረጃ ይጠቀማል?
GPTQ አንድ ክብደት በኪሳራ ላይ እንዴት እንደሚጎዳ ለመረዳት ግምታዊ ሄሲያን ይጠቀማል፣ ከዚያም ለማካካስ የቀሩትን ክብደቶች ያስተካክላል።
AWQ (Activation-Aware Weight Quantization)ን የሚያንቀሳቅሰው የትኛው ቁልፍ ግንዛቤ ነው?
ጥቂት ቻናሎች ያልተመጣጠነ ስለሚሆኑ AWQ ጉልህ የሆኑ የክብደት ቻናሎችን የማግበር መጠንን በመጠቀም ይለያል እና በመጠን ይጠብቃቸዋል።
ባለ 4-ቢት መመዘኛ ከ16-ቢት ክብደቶች አንጻር ምን ያህል ማህደረ ትውስታ ይቆጥባል?
በአንድ ክብደት ከ16 ቢት ወደ 4 ቢት መሄድ የክብደት ትውስታን ወደ አንድ ሩብ ያህል ይቀንሳል፣ ይህም በግምት በ4x ይቀንሳል።
ለምንድን ነው ሁለቱም GPTQ እና AWQ በተለምዶ ክብደቶችን ይለካሉ ነገር ግን ማግበርን በከፍተኛ ትክክለኛነት ያቆያሉ?
ክብደት ዋናው የማህደረ ትውስታ ዋጋ ሲሆን ማግበር ደግሞ ለትክክለኛው ኪሳራ የበለጠ ስሜታዊነት ያለው ነው፣ ስለዚህ ክብደትን ብቻ መቁጠር የተለመደው ጣፋጭ ቦታ ነው።