Nchịkọta
Nleba anya mpio mmịfe na-amachibido akara ngosi ọ bụla ịga naanị na mpaghara nwere oke nke token dị nso kama usoro niile. Nke a na-ebelata ọnụ ahịa quadratic nke nlebara anya ọkọlọtọ gbadaa na linear, na-eme ka ụdị ogologo okwu dị ọnụ ala karịa ka ọ na-agba.
Nleba anya Window na-amị amị bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Ọkọlọtọ nlebara anya onwe onye na-atụnyere akara ọ bụla na akara ngosi ọ bụla ọzọ, yabụ usoro ogologo N chọrọ ntụnyere N-squared. Nleba anya windo na-amị amị na-edozi nke a site n'inye akara ngosi nke ọ bụla mpio nke nha W (kwuo 4,096 akara) na ịgakwuru ndị agbata obi n'ime windo ahụ. Ọnụ ego na-eto ka N ugboro W kama N-squared. N'ụzọ dị mkpa, ikpokọta ọtụtụ windo nwere windo na-agbasawanye ogige nnabata dị irè: mgbe ọkwa L, ozi nwere ike ịgbasa gafee akara ngosi L ugboro W, dị ka ubi nnabata CNN na-eto eto. Mistral 7B mebere nke a site na windo akara ngosi 4,096 gafee akwa iri atọ na abụọ, na-eru ogologo oge akara ngosi 131K. Modelsdị na-agwakọta ihie windo nwere nlebara anya oge ụfọdụ iji chekwaa njikọ dị ogologo.
Nghọta nka nka
N'ihe nkpuchi nlebara anya, a na-ahapụ ajụjụ nọ n'ọnọdụ m ka ọ hụ igodo si na ọnọdụ m wepụrụ W gbakwunyere 1 site na i (ikpe kpatara). Ihe mkpuchi a na-adịghị ahụkebe pụtara na cache KV chọrọ naanị akara W ikpeazụ n'otu oyi akwa, na-egbutu ebe nchekwa n'oge ọgbọ. N'ihi na mpio ahụ na-eji akara ọhụrụ ọ bụla na-agbanwe, ọ na-ejikọta ya na cache nchekwa na-atụgharị nke na-edegharị ndenye ndị kacha ochie kama itolite ruo mgbe ebighị ebi.
Nleba anya Window slide Sliding
Nleba anya mpio mmịfe na-amachibido akara ngosi ọ bụla ịga naanị na mpaghara nwere oke nke token dị nso kama usoro niile. Nke a na-ebelata ọnụ ahịa quadratic nke nlebara anya ọkọlọtọ gbadaa na linear, na-eme ka ụdị ogologo okwu dị ọnụ ala karịa ka ọ na-agba. Nleba anya Window na-amị amị bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Nleba anya Window Sliding dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, wee kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji nleba anya nleba anya na windo Sliding na-akpali, iweghachi, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Mistral 7B na-eji 4,096-token mmịfe na-agafe n'ígwé ya iji jikwaa ogologo mkpali dị ọnụ ala na GPU ndị ahịa.
Longformer na-etinye uche na windo gbakwunyere akara ngosi zuru ụwa ọnụ ole na ole iji chịkọta na chịkọta akwụkwọ nwere ọtụtụ ibe.
Gemma 2 na-eji akwa nlebara anya zuru ụwa ọnụ na-atụgharị n'ígwé windo mmịfe mpaghara iji dozie ọsọ na ncheta ogologo oge.
Mpempe akwụkwọ nchekwa KV na ndị enyemaka nkata na-edobe naanị mpio akara ngosi kacha ọhụrụ, na-edobe ebe nchekwa n'oge mkparịta ụka dị ogologo.
Usoro mmejuputa
Nleba anya na windo na-amị amị na omume
Mistral 7B na-eji 4,096-token mmịfe na-agafe n'ígwé ya iji jikwaa ogologo mkpali dị ọnụ ala na GPU ndị ahịa.
Mistral 7B na-eji 4,096-token ihie windo gafee n'ígwé ya iji na-edozi ogologo mkpali dị ọnụ ala na ndị na-azụ ahịa GPUs Otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ọnụ ọnụ, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Nleba anya na windo na-amị amị na omume
Longformer na-etinye uche na windo gbakwunyere akara ngosi zuru ụwa ọnụ ole na ole iji chịkọta na chịkọta akwụkwọ nwere ọtụtụ ibe.
Longformer na-etinye uche na windo gbakwunyere ihe ngosi ole na ole zuru ụwa ọnụ iji wepụta na chịkọta akwụkwọ nwere ọtụtụ peeji Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Nleba anya na windo na-amị amị na omume
Gemma 2 na-eji akwa nlebara anya zuru ụwa ọnụ na-atụgharị n'ígwé windo mmịfe mpaghara iji dozie ọsọ na ncheta ogologo oge.
Gemma 2 na-agbanwe akwa windo slide-sliding mpaghara yana nlebara anya zuru ụwa ọnụ iji dozie ọsọ ọsọ na icheta ogologo oge Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ ịrị elu mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
Nleba anya na windo na-amị amị na omume
Mpempe akwụkwọ nchekwa KV na ndị enyemaka nkata na-edobe naanị mpio akara ngosi kacha ọhụrụ, na-edobe ebe nchekwa n'oge mkparịta ụka dị ogologo.
Rolling-buffer KV caches na ndị na-enyere aka mkparịta ụka na-edobe naanị windo akara ọhụrụ kachasị ọhụrụ, na-echekwa ebe nchekwa n'oge mkparịta ụka ogologo oge Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.