Dulmar
SmoothQuant waa farsamo suurtagelinaya in la isku cadaadiyo moodooyinka luqadaha waaweyn ilaa 8-bit integers labadaba miisaanka iyo hawlgelinta iyada oo aan dib loo tababarin. Waa arrin sababtoo ah hawlgelinta moodooyinka waaweyn waxay ka kooban yihiin waxyaabo aad uga baxsan kuwaas oo sida caadiga ah burburiya xisaabta saxda ah ee hooseeya, oo SmoothQuant iyaga ayaa baraya.
Quantization SmoothQuant iyo Activation waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka.
quusitaanka qoto dheer
Markaad ka yareyso moodal ka soo jeeda 16-bit oo sabeynaya ilaa 8-bit isteejka, miisaannada ayaa si fudud u cadaadiya laakiin hawlqabadyadu waa dhib: kanaalada qaarkood waxay wataan qiyamka 10 ilaa 100 jeer ka weyn inta soo hartay, oo ku qasbida shabaqyada isugeynta aan fiicneyn waxay burburisaa saxnaanta. SmoothQuant, waxaa soo bandhigay Xiao et al. sanadka 2022, waxa ay eegtaa in miisaanku uu siman yahay oo ay fududahay in la qiyaaso iyada oo hawlqabadyadu ay yihiin kuwo aad u sarreeya. Markaa xisaab ahaan waxay u guuraysaa dhibka: waxay u qaybisaa kanaalada firfircoonida cabirka kanaalka waxayna ku dhufataa miisaannada u dhigma isla miisaan. Labadii hawlgalba way baajiyeen, iyagoo ka tegaya wax-soo-saarka moodalka oo aan isbeddelin, laakiin hadda labada kiraysteba waxay ku fadhiyaan meelo saaxiibtinimo leh. Natiijadu waa W8A8 (miisaan 8-bit ah iyo hawlqabadyo) oo leh luminta saxda ah ee eber u dhow iyo qiyaasta xawaaraha 2x iyo kaydinta xusuusta.
Aragtida Farsamada
Xeeladda udub-dhexaadka ah waa qodobka fududaynta kanaalka kasta oo loo xisaabiyo sida s = max (|X|) ^ alpha / max (| W|) ^ (1-alpha). Dhaqdhaqaaqyada waxaa lagu qiyaasaa 1/s iyo culeysyada s, markaa badeecada shaxanka ee XW waa la xafiday. Sababtoo ah is-qarinta ayaa si toos ah loogu dhuuqay miisaanka lakabkii hore ama hawlgal isku dhafan, waxay ku daraysaa eber qiimaha runtime. Halbeegga alfa hyperparameter (badanaa 0.5) ayaa xakameysa inta culeyska ka baxsan uu ka soo wareego dhaqdhaqaaqyada culeysyada.
Mastering SmoothQuant and Activation Quantization
SmoothQuant waa farsamo suurtagelinaya in la isku cadaadiyo moodooyinka luqadaha waaweyn ilaa 8-bit integers labadaba miisaanka iyo hawlgelinta iyada oo aan dib loo tababarin. Waa arrin sababtoo ah hawlgelinta moodooyinka waaweyn waxay ka kooban yihiin waxyaabo aad uga baxsan kuwaas oo sida caadiga ah burburiya xisaabta saxda ah ee hooseeya, oo SmoothQuant iyaga ayaa baraya. Quantization SmoothQuant iyo Activation waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka. Si loo dhiso faham qoto dheer, ula dhaqan SmoothQuant iyo Quantization Quantization sidii qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa wali u baahan go'aan khabiir.
Ficil ahaan, kooxaha xoogga leh ee isticmaalaya SmoothQuant iyo Quantization Activation waxay wanaajiyaan qaab dhismeedka, xogta, iyo doorashooyinka kaabayaasha lidka ku ah isku halaynta iyo qiimaha. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Isla mar ahaantaana, hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
U adeegida 70B-parameter LLM ee W8A8 GPU-yo yar iyada oo la kala badhayo labadaba xusuusta iyo matrix-ku-dhufashada qiimaha
Awood u siinta fikradda INT8 ee NVIDIA Hopper/Blackwell tensor cores kuwaas oo si asal ah u dardargeliya xisaabta 8-bit
Gelitaanka moodooyinka wada sheekaysiga ee meelaha daruuriga ah ee kharashkoodu xaddidan yahay halkaas oo laba-laabashada wax-soo-saarka ay si toos ah u jarayso biilka-calaamadaha
Isku-buufinta qalabka wax-ka-beddelka ee hadalka qalabka ama tarjumaadda halkaasoo 8-bit kernels ay si dhaqso leh ugu socdaan oo qaboojiso
Hababka Dhaqangelinta
SmoothQuant iyo Dhaqdhaqaaq Tirinta ficil ahaan
U adeegida 70B-parameter LLM ee W8A8 GPU-yo yar iyada oo la kala badhayo xusuusta iyo matrix-ku-dhufashada labadaba.
U adeegida 70B-parameter LLM ee W8A8 GPU-yada yar iyadoo la kala badhayo xusuusta iyo matrix-ku-dhufashada kooxuhu waxay inta badan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.
SmoothQuant iyo Dhaqdhaqaaq Tirinta ficil ahaan
Awood u siinta fikradda INT8 ee NVIDIA Hopper/Blackwell tensor cores kuwaas oo si asal ah u dardargeliya xisaabta 8-bit.
Awood u siinta fikradda INT8 ee NVIDIA Hopper/Blackwell tensor cores kuwaas oo si asal ah u dardar geliya 8-bit kooxaha xisaabta kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
SmoothQuant iyo Dhaqdhaqaaq Tirinta ficil ahaan
Gelitaanka moodooyinka wada sheekaysiga ee meelaha daruuriga ah ee kharashku xaddidan yahay halkaas oo wax soo saarka labanlaabku ay si toos ah u gooyaan biilka-calaamadaha.
Gelitaanka moodooyinka wada sheekaysiga ee meelaha daruuriga ah ee kharashkoodu xaddidan yahay halkaas oo laba-laabashada wax-soo-saarka ay si toos ah u gooyaan biilka-calaamadaha Kooxuhu inta badan waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
SmoothQuant iyo Dhaqdhaqaaq Tirinta ficil ahaan
Isku-buufinta qalabka wax-ka-beddelka ee hadalka ama tarjumaada qalabka halkaasoo 8-bit kernels ay si dhaqso leh ugu socdaan oo qaboojiso.
Isku-buufinta qalabka wax-is-beddelka ee hadalka ama tarjumaadda aaladda halkaas oo kernels 8-bit ah ay si dhaqso ah u socdaan, kooxuhuna sida caadiga ah waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Dhaqangelinta Roadmapka
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.