Dulmar
Qaab dhismeed adeege ah oo u kala qaybiya tusaalaynta tusaalaha luqadda ee laba weji oo kala duwan — horu-buuxinta iyo qeexidda — oo ku socodsiisa barkadaha kala duwan ee GPU-yada. Waa arrin sababtoo ah labadan weji waxay leeyihiin rabitaanka cuntada qalabka oo iska soo horjeeda, oo ku qasbida isla mishiinada waxay luminaysaa awoodda waxayna dhaawacaysaa daahitaanka.
Buuxinta la kala saaray iyo Adeegga Go'aaminta waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka.
quusitaanka qoto dheer
Marka LLM ka jawaabo, waxay u shaqeysaa laba marxaladood. Prefill wuxuu akhriyaa dhammaan isla markiiba wuxuuna dhisayaa kaydka qiimaha-furaha (KV); kani waa qarax weyn, barbar socda, kombuyuutar ku xidhan kaas oo buuxinaya cutubyada xisaabta GPU-da. Go'aaminta markaa waxay soo saartaa calaamado hal mar, tillaabo kastaa waxay akhrinaysaa dhammaan khasnadaha KV-xasuusta-bandwidth-ku-xidhan, si fudud-u xisaabin. Si wada jir ah u orda, horudhac dheer oo horudhac ah ayaa qof walba joojinaya koodka (madaxa-line-ka-hortagga), iyo isku-duubnida labada waxay abuurtaa faragelin. Kala qaybsanaantu waxay hordhigtaa hal barkad GPU ah oo waxay dejisaa mid kale, iyada oo u wareejinaysa kaydka KV dhexdooda isku xidhka degdega ah sida NVLink ama InfiniBand. Barkad kastaa si madaxbanaan ayaa loo hagaajiyay oo loo miisaamay, iyada oo hagaajinaysa wax-soo-saarka, hagaajinta daahnimada dabada, iyo u oggolaanaysa hawl-wadeenada inay garaacaan bartilmaameedyada calamadaha waqti-ilaa-koowaad iyo waqti-wax-soo-saar-calaamad isku mar.
Aragtida Farsamada
Labada weji waxay ku kala duwan yihiin dhalooyinkooda. Hore u-buuxinta waxay u shaqaysaa dhammaan calaamadaha degdegga ah ee isbarbar socda, markaa FLOPs waxay cabbirtaa dhererka degdegga ah waxayna kor u qaadaysaa koodhka tensor-ka. Decode waa autoregressive: calaamad kasta oo cusub waxay u baahan tahay hal baas oo hore ah oo dib u akhriya kaydka KV ee buuxa ee HBM, markaa wax-soo-saarka waxaa lagu xiraa xajmiga xajmiga xusuusta, ee ma xisaabiyo. Kala qaybsanaantu waxay tan kaga faa'iidaysanaysaa iyada oo cabbiraysa, qaybinaysa, iyo xataa dooranaysa isbarbaryaac kala duwan ee barkad kasta, ka dibna ka soo raridda kaydka KV ee shaqaalaha horudhaca ah si loo kala saaro shaqaalaha.
Hagaajinta hor-buuxinta la kala saaray iyo adeegidda kood kala saaray
Qaab dhismeed adeege ah oo u kala qaybiya tusaalaynta tusaalaha luqadda ee laba weji oo kala duwan — horu-buuxinta iyo qeexidda — oo ku socodsiisa barkadaha kala duwan ee GPU-yada. Waa arrin sababtoo ah labadan weji waxay leeyihiin rabitaanka cuntada qalabka oo iska soo horjeeda, oo ku qasbida isla mishiinada waxay luminaysaa awoodda waxayna dhaawacaysaa daahitaanka. Buuxinta la kala saaray iyo Adeegga Go'aaminta waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka. Si loo dhiso faham qoto dheer, u daawee Prefill la kala saaray oo Go'aamin Adeegga sidii qaab hawleed, maaha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa wali u baahan go'aan khabiir.
Ficil ahaan, kooxaha xoogga leh ee isticmaalaya Prefill Kala-saar iyo Go'aamin Adeegga waxay wanaajiyaan qaab dhismeedka, xogta, iyo doorashooyinka kaabayaasha lidka ku ah isku halaynta iyo qiimaha. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Isla mar ahaantaana, hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Kaaliyaha sheekadu waxa uu dariiqa dukumeenti dheer ku dhiiri galinayaa in uu xisaabiyo koox horudhac ah oo culus,kadibna durdurrada ayaa ka jawaabaya kooxda go'aaminta xusuusta ee la hagaajiyay si ay u ilaaliso qorista daahida.
NVIDIA Dynamo iyo vLLM waxay u oggolaadaan hawl-wadeenadu inay geeyaan horudhacyo gaar ah oo ay dejiyaan kooxaha shaqaalaha si dillaaca degdegga ah uusan u qaboojin jiilalka socda.
Mooncake (oo ay adeegsato Moonshot AI's Kimi) waxay kala saartaa buuxinta oo kala saarta oo waxay ku daraysaa barkad kaydka KV-ga oo la qaybiyay si loo dhimo xisaabinta degdega ah ee qiyaasta.
Adeega dhamaystirka koodka ayaa u hibeeya barkad yar oo horudhac ah oo loogu talagalay dardar gelinta gaaban iyo barkad decode weyn, maadaama kharashka badankiisu ka yimaado qulqulka calaamado badan oo wax soo saar ah.
Hababka Dhaqangelinta
Buuxinta la kala saaray oo Go'aamin u adeegida ficil ahaan
Kaaliyaha sheekadu waxa uu dariiqa dukumeenti dheer ku dhiiri galinayaa in uu xisaabiyo koox horudhac ah oo culus,kadibna durdurrada ayaa ka jawaabaya kooxda go'aaminta xusuusta ee la hagaajiyay si ay u ilaaliso qorista daahida.
Kaaliyaha sheekadu waxa uu dariiqa dukumeenti dheer ku dhiirigeliyaa in uu xisaabiyo koox horudhac ah oo culus, ka dib durduryadu waxay ka jawaabaan kutlada goynta xusuusta ee la hagaajiyay si ay u sii wataan qoritaanka daahitaanka kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Buuxinta la kala saaray oo Go'aamin u adeegida ficil ahaan
NVIDIA Dynamo iyo vLLM waxay u oggolaadaan hawl-wadeenadu inay geeyaan horudhacyo gaar ah oo ay dejiyaan kooxaha shaqaalaha si dillaaca degdegga ah uusan u qaboojin jiilalka socda.
NVIDIA Dynamo iyo vLLM waxay u oggolaadaan hawl-wadeenadu inay geeyaan horudhac gaar ah oo ay dejiyaan kooxaha shaqaalaha si dillaaca dardargelinta dheer aysan u joojin jiilalka socda Kooxuhu waxay inta badan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Buuxinta la kala saaray oo Go'aamin u adeegida ficil ahaan
Mooncake (oo ay adeegsato Moonshot AI's Kimi) waxay kala saartaa buuxinta oo kala saarta oo waxay ku daraysaa barkad kaydka KV-ga oo la qaybiyay si loo dhimo xisaabinta degdega ah ee qiyaasta.
Mooncake (oo ay adeegsato Moonshot AI's Kimi) waxay kala saartaa prefill iyo kala-saar waxayna ku darsataa barkad KV-cache ah oo la qaybiyay si loo gooyo xisaabinta degdega ah ee miisaanka Kooxaha badanaa waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u ilaali dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Buuxinta la kala saaray oo Go'aamin u adeegida ficil ahaan
Adeega dhamaystirka koodka ayaa u hibeeya barkad yar oo horudhac ah oo loogu talagalay dardar gelinta gaaban iyo barkad decode weyn, maadaama kharashka badankiisu ka yimaado qulqulka calaamado badan oo wax soo saar ah.
Adeegga dhamaystirka code-ku wuxuu u huraa barkad yar oo prefill ah oo loogu talagalay dardar-gaaban iyo barkad decode weyn, maadaama kharashka badankiisu ka yimaado qulqulka calaamado badan oo wax soo saar ah Kooxuhu waxay inta badan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.