መቁጠር
ቁጥሩ ዝቅተኛ በሆነ ትክክለኛነት ቁጥሩን በማከማቸት የ AI ሞዴልን ይቀንሳል፣ ስለዚህ የውሂብ ማእከል ጂፒዩ የሚያስፈልገው ሞዴል አንዳንድ ጊዜ በላፕቶፕ ወይም በስልክ ላይ ሊሄድ ይችላል።
አጠቃላይ እይታ
It is the main trick that makes large language models cheap and fast enough to deploy widely.
ጥልቅ ዳይቭ
የነርቭ አውታረ መረብ በአብዛኛው ክብደት ተብሎ የሚጠራ ግዙፍ የቁጥሮች ክምር ሲሆን በመደበኛነት እንደ 16- ወይም 32-ቢት ተንሳፋፊ-ነጥብ እሴቶች ይከማቻል። መቁጠር እነዚያን ክብደቶች በትንሹ ቢት፣በተለምዶ 8-ቢት (INT8) ወይም ባለ 4-ቢት ኢንቲጀር በመጠቀም ያከማቻል። ከ16-ቢት ወደ 4-ቢት መሄድ ማህደረ ትውስታን በአራት እጥፍ ይቀንሳል፣ስለዚህ 140GB በ16-ቢት የሚያስፈልገው 70-ቢሊየን ፓራሜትር ሞዴል በግምት 35GB በ4-ቢት ሊገጥም ይችላል። ትናንሽ ቁጥሮችም በማህደረ ትውስታ ውስጥ በፍጥነት ይንቀሳቀሳሉ, ይህም አብዛኛውን ጊዜ ትውልድን ያፋጥናል. የተያዘው ትክክለኛነት ነው፡ ሰፊ የእሴቶችን ወደ ጥቂት ደረጃዎች መጨፍለቅ የማጠጋጋት ስህተትን ያስተዋውቃል። ጥሩ ዘዴዎች የመጠን መለኪያዎችን በጥንቃቄ በመምረጥ እና በጣም ሚስጥራዊነት ያላቸውን ክብደቶች በመጠበቅ ያንን ኪሳራ ይቀንሳሉ ፣ ስለዚህ ሞዴሉ ከሀብቱ ክፍልፋይ በሚጠቀምበት ጊዜ ተመሳሳይ ባህሪ ይኖረዋል።
ቴክኒካዊ ግንዛቤ
እያንዳንዱ የክብደት ቡድን እውነተኛ እሴቶችን በትንሽ ኢንቲጀሮች ስብስብ ላይ የሚያስቀምጥ መለኪያ መለኪያ ያገኛል። በመጠኑ ማባዛት በግምት የመጀመሪያውን ቁጥር እንደገና ይገነባል። እንደ GPTQ እና AWQ ያሉ የድህረ-ስልጠና የመጠን ዘዴዎች ሁሉንም ነገር በጭፍን ከማጠጋጋት ይልቅ የትኛው ክብደት በጣም አስፈላጊ እንደሆነ ለመወሰን እና ሚዛኖችን ለመወሰን አነስተኛ የካሊብሬሽን ዳታ ስብስብን ይተነትናል። ማግበር ብዙውን ጊዜ በከፍተኛ ትክክለኛነት ይቀመጣሉ ምክንያቱም በሂደት ላይ የበለጠ ስለሚለያዩ ነው። ውጤቱ ባለ 4-ቢት ኢንቲጀር የሚያከማች ሞዴል ነው ነገር ግን ውጤቱን ወደ ሙሉ ትክክለኝነት ስሪት በጣም ቅርብ ያሰላል።
ስልታዊ ተጽእኖ
ፍጥነት እና ልኬት
የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።
መድረስ እና መድረስ
በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።
ግልጽ ውሳኔዎች
አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።
የኳንቲዜሽን የወደፊት
ከማመቻቸት ይልቅ የቁጥር መጠን ነባሪው እንዲሆን ይጠብቁ። የሃርድዌር አቅራቢዎች ቤተኛ 4-ቢት እና ሌላው ቀርቶ ዝቅተኛ-ቢት ድጋፍን እየጨመሩ እና እንደ ኳንትላይዜሽን አውቆ የሥልጠና ቴክኒኮች ከመጀመሪያው ጀምሮ ወደ አምሳያው ዝቅተኛ ትክክለኛነትን ይጋግሩታል፣ ይህም ትክክለኛነትን ማጣት የበለጠ ይቀንሳል። ባለ 2-ቢት እና 1-ቢት (ሁለትዮሽ) ውክልናዎች ላይ ምርምር ገባሪ ነው፣ አቅም ያላቸው ሞዴሎችን በስልኮች እና በተከተቱ ቺፖች ላይ ለማስኬድ ያለመ ነው። በመሣሪያ ላይ እና የግል AI እያደጉ ሲሄዱ፣ ቀልጣፋ የቁጥር ሞዴሎች ውሂብ ወደ ደመናው ሳይልኩ ረዳቶችን በአገር ውስጥ ለማስኬድ ማዕከላዊ ይሆናሉ።
የእውነተኛ-ዓለም አተገባበር
ባለ 4-ቢት GGUF ወይም GPTQ ፋይሎችን በመጠቀም እንደ ላማ ያሉ የውይይት ሞዴልን በአገር ውስጥ በሸማች ጂፒዩ ማሄድ።
ባለ 8-ቢት ወይም 4-ቢት ሞዴሎች የንግግር እና የጽሑፍ ባህሪያት ያለ አውታረ መረብ ግንኙነት እንዲሄዱ በሚፈቅዱባቸው ስልኮች ላይ የመሣሪያ ላይ ረዳቶች።
INT8 ሞዴልን በማገልገል ለደንበኛ ድጋፍ ቦት የደመና ግምትን መቁረጥ በእያንዳንዱ ጂፒዩ ላይ ተጨማሪ ጥያቄዎችን ማሟላት።
እንደ ስማርት ካሜራዎች ወይም አይኦቲ ዳሳሾች ያሉ የጠጠር የእይታ-ቋንቋ ሞዴሎችን በጥብቅ የማስታወስ ገደቦች ውስጥ የሚያሄዱ የጠርዝ መሳሪያዎች።
አደጋዎች እና የጥበቃ መንገዶች
የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።
ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።
የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።
የትግበራ ፍኖተ ካርታ
ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።
ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።
ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።
የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ቀሪ የቬክተር መጠን
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Quantization?
ቁጥሩ ዝቅተኛ በሆነ ትክክለኛነት ቁጥሩን በማከማቸት የ AI ሞዴልን ይቀንሳል፣ ስለዚህ የውሂብ ማእከል ጂፒዩ የሚያስፈልገው ሞዴል አንዳንድ ጊዜ በላፕቶፕ ወይም በስልክ ላይ ሊሄድ ይችላል። ትላልቅ የቋንቋ ሞዴሎችን በስፋት ለማሰማራት ርካሽ እና ፈጣን የሚያደርገው ዋናው ዘዴ ነው።
ስለ ነርቭ አውታረመረብ መመዘኛ በዋነኝነት የሚለወጠው ምንድን ነው?
መቁጠር የአምሳያውን ክብደቶች ከ16- ወይም 32-ቢት ተንሳፋፊዎች ይልቅ እንደ 8-ቢት ወይም 4-ቢት ኢንቲጀር ባሉ ዝቅተኛ የቁጥር ትክክለኛነት እንደገና ያከማቻል።
ክብደቶችን ከ16-ቢት ወደ 4-ቢት በማንቀሳቀስ ምን ያህል ማህደረ ትውስታ ይቆጥባል?
4 ቢት ከ16 ቢት አንድ አራተኛ ነው፣ ስለዚህ የክብደት ማከማቻ በግምት ወደ አንድ ሩብ ይወርዳል፣ በ4x ያህል ይቀንሳል።
የኃይለኛ መጠን መቀነስ ዋነኛው ኪሳራ ምንድነው?
በትንሹ ደረጃዎች እሴቶችን መወከል የማጠጋጋት ስህተትን ያስተዋውቃል፣ ይህም በጥንቃቄ ካልተያዘ የውጤት ጥራትን ሊያሳጣው ይችላል።
እንደ GPTQ እና AWQ ያሉ ዘዴዎች አነስተኛ የካሊብሬሽን ዳታሴስት ምን ይጠቀማሉ?
እነዚህ የድህረ-ስልጠና ዘዴዎች የመጠን መለኪያዎችን ለማዘጋጀት እና ሚስጥራዊነት ያላቸውን ክብደቶች ለመጠበቅ ጥቂት የናሙና ግብአቶችን ይመረምራሉ፣ ውጤቶቹን ከመጀመሪያው ጋር ያቀራርባሉ።
ለምንድነው ኳንቲዜሽን ትንሽ ብቻ ሳይሆን ሞዴሉን ፈጣን የሚያደርገው?
ዝቅተኛ ትክክለኛነት እሴቶች ለመጫን እና ለመንቀሳቀስ አነስተኛ የማህደረ ትውስታ ባንድዊድዝ ይወስዳሉ ፣ይህም ብዙውን ጊዜ በሚፈጠርበት ጊዜ ማነቆ ነው ፣ስለዚህ ማመዛዘን ያፋጥናል።