Nchịkọta
Ndozi nleba anya na-eji ụdị 'draft' dị obere, ngwa ngwa iji maa ọtụtụ akara na-abịa na nnukwu ihe nlereanya wee nyochaa n'otu ngafe. Ọ na-agba ọsọ ọgbọ ederede 2-3x na-enweghị mgbanwe na mmepụta.
Modelsdị Draft Decoding Speculative bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Ụdị asụsụ buru ibu na-emepụta ederede otu akara n'otu oge, nzọụkwụ ọ bụla na-achọkwa ịgafe n'ihu n'ụzọ zuru ezu site na ọtụtụ ijeri paramita - nwayọọ na ebe nchekwa. Ndozi nhụsianya na-awakpo nke a site na ijikọta nnukwu ihe nlereanya 'edobere' na ụdị 'draft' dị ọnụ ala. Ihe nlereanya a na-atụpụta ngwa ngwa na-atụpụta mkpirisi, sịnụ, akara ndị ndoro-ndoro ochichi 4-8. Nnukwu ihe nlereanya ahụ na-ahazi ha niile n'otu ngafe na-aga n'ihu ma lelee nke ọ bụla. A na-anabata akara ndị dabara na ihe nnukwu ihe nlereanya gaara emepụta; a na-edozi ndakọrịta nke mbụ ma tụfuo ndị ọzọ. N'ihi na ịlele ọtụtụ token n'otu oge na-efu otu ihe dị ka ịmepụta otu, ịgba ọsọ anabatara fọrọ nke nta ka ọ bụrụ n'efu. N'ụzọ dị mkpa, usoro nlele-ajụ na-ekwe nkwa na nkesa ikpeazụ bụ otu ihe na-agba ọsọ nnukwu ihe nlereanya naanị - ọsọ na-enweghị ezigbo mfu.
Nghọta nka nka
Isi aghụghọ bụ ule nlere ajụ gbanwetụrụ. Maka akara ngosi ọ bụla edepụtara, a na-atụnyere ihe gbasara nke puru omume n'ụdị ihe atụnyere nke ihe nlereanya. Ọ bụrụ na ebumnuche ekenye nha nha ma ọ bụ karịa, a na-anabata akara ngosi ahụ; ma ọ bụghị ya, a na-anabata ya na ihe gbasara nke puru omume ha nhata, na n'ajụjụ a, a na-esetịpụ akara ngosi emeziri site na nkesa mpụta emeziri. Mgbakọ mgbakọ na mwepụ a na-eme ka mmepụta ya bụrụ nhata na nlele ozugbo site na nnukwu ụdị.
Ịmụta Ụdị Ndozi Nkọwapụta Nkọwa
Ndozi nleba anya na-eji ụdị 'draft' dị obere, ngwa ngwa iji maa ọtụtụ akara na-abịa na nnukwu ihe nlereanya wee nyochaa n'otu ngafe. Ọ na-agba ọsọ ọgbọ ederede 2-3x na-enweghị mgbanwe na mmepụta. Modelsdị Draft Decoding Speculative bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Models Decoding Draft Models Speculative dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewapụ ihe sistemụ ahụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Speculative Decoding Draft Models chepụta mkpali, iweghachite, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Anthropic, OpenAI, na Google na-eji nhọpụta nleba anya iji belata latency na ụgwọ ọrụ maka ndị enyemaka nkata na-ejere nde ndị ọrụ ozi.
vLLM na NVIDIA TensorRT-LLM ụgbọ mmiri arụnyere n'ime ngbanwe nkọwapụta ka ndị na-akwado onwe ha nwee ike mee ka Llama ma ọ bụ Mistral rụọ ọrụ ngwa ngwa.
Ijikọta ihe atụ 7B nwere ebumnuche 70B (dịka, ezinụlọ Llama-3) ka ọ bụrụ akara ngosi okpukpu abụọ kwa nkeji na otu GPU.
Ngwa mmecha koodu na-eji obere ihe nlere na-atụpụta efere efere ka nnukwu ihe nlereanya na-enyocha, na-edobe aro na-atọ ụtọ na onye ndezi.
Usoro mmejuputa
Model Ndozi nhụsianya na omume
Anthropic, OpenAI, na Google na-eji nhọpụta nleba anya iji belata latency na ụgwọ ọrụ maka ndị enyemaka nkata na-ejere nde ndị ọrụ ozi.
Anthropic, OpenAI, na Google na-eji ntupụta echiche iji belata latency na ijere ọnụ ahịa ndị na-enyere aka nkata na-eje ozi na-ejere ọtụtụ nde ndị ọrụ otu egwuregwu na-enweta nsonaazụ ka mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ abawanye mmadụ na-akwụ ụgwọ maka nrụpụta oge.
Model Ndozi nhụsianya na omume
vLLM na NVIDIA TensorRT-LLM ụgbọ mmiri arụnyere n'ime ngbanwe nkọwapụta ka ndị na-akwado onwe ha nwee ike mee ka Llama ma ọ bụ Mistral rụọ ọrụ ngwa ngwa.
Ụgbọ mmiri vLLM na NVIDIA TensorRT-LLM arụnyere n'ime nkọwa nkọwa nke mere na ndị na-akwado onwe ha nwere ike mee ka Llama ma ọ bụ Mistral deployments Otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Model Ndozi nhụsianya na omume
Ijikọta ihe atụ 7B nwere ebumnuche 70B (dịka, ezinụlọ Llama-3) ka ọ bụrụ akara ngosi okpukpu abụọ kwa nkeji na otu GPU.
Ijikọta ihe ngosi 7B na ebumnuche 70B (dịka, ezinụlọ Llama-3) ka ọ bụrụ akara okpukpu abụọ n'otu nkeji otu GPU na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ihu, wee soro ma uru nrụpụta na ụgwọ njehie na oge.
Model Ndozi nhụsianya na omume
Ngwa mmecha koodu na-eji obere ihe nlere na-atụpụta efere efere ka nnukwu ihe nlereanya na-enyocha, na-edobe aro na-atọ ụtọ na onye ndezi.
Ngwá ọrụ mmecha koodu na-eji obere mpempe akwụkwọ na-atụpụta efere efere nke ihe nlereanya buru ibu na-enyocha, na-edobe aro dị nro na ndị nchịkọta akụkọ Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.