Nchịkọta
FlashAttention bụ algọridim na-arụ ọrụ ebe nchekwa nke na-agbakọ otu nlebara anya dị ka ndị na-agbanwe ọkọlọtọ mana na-enweghị mgbe ọ na-edepụta nnukwu nlebara anya matriks iji belata ebe nchekwa GPU. O mere ka ọzụzụ na ntinye aka ogologo oge dị ngwa ngwa ma dị ọnụ ala.
FlashAttention bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Nlebara anya ọkọlọtọ na-agbakọ akara maka ụzọ akara ọ bụla, na-emepụta matriks N-by-N. Maka usoro akara ngosi 4,000 nke ahụ bụ akara nde 16, yana matriks ga-ederịrị ma gụọ ya azụ site na ebe nchekwa bandwidth dị elu nke GPU (HBM). Okporo ụzọ ebe nchekwa ahụ, ọ bụghị mgbakọ na mwepụ, bụ ezigbo ihe mgbochi. FlashAttention, nke Tri Dao na ndị ọrụ ibe webatara na 2022, na-ahazigharị mgbakọ ahụ ka matriks ahụ ghara ịdị adị nke ọma. Ọ na-ahazi usoro ahụ na taịlị dabara na obere GPU nke SRAM, na-agbakọ softmax na-abawanye ka ọ na-aga. Nsonaazụ ya bụ mgbakọ na mwepụ na nlebara anya ọkọlọtọ mana ọ na-eji ebe nchekwa dị obere ma na-agba ọsọ ọsọ ọtụtụ ugboro, na-eme ka windo okirikiri dị ogologo ogologo.
Nghọta nka nka
Aghụghọ a bụ 'online softmax' jikọtara ya na tiling. FlashAttention na-ebu obere ajụjụ, igodo, na ụkpụrụ n'ime SRAM, na-agbakọ nsonaazụ nlebara anya nke ọma, wee weghachi ego na-agba ọsọ ka ihe mgbochi ọhụrụ na-abịarute ka softmax normalization na-adịkwa mma n'ahụghị akara niile n'otu oge. N'ihi na ọ dịghị mgbe ọ na-echekwa matrix N-by-N zuru ezu na HBM, ebe nchekwa na-akwụ ụgwọ n'ahịrị ka ọ bụghị nke anọ, na kernel na-ejikọta ya n'ime otu GPU iji belata ebe nchekwa na-agụ ma na-ede.
Ịmalite nlebara anya Flash
FlashAttention bụ algọridim na-arụ ọrụ ebe nchekwa nke na-agbakọ otu nlebara anya dị ka ndị na-agbanwe ọkọlọtọ mana na-enweghị mgbe ọ na-edepụta nnukwu nlebara anya matriks iji belata ebe nchekwa GPU. O mere ka ọzụzụ na ntinye aka ogologo oge dị ngwa ngwa ma dị ọnụ ala. FlashAttention bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wuo nghọta miri emi, na-emeso FlashAttention dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu akụkụ: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji FlashAttention imewe mkpali, iweghachi, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ọzụzụ nnukwu ụdị asụsụ dị ka Llama na sistemụ ụdị GPT ngwa ngwa yana ọnụ ahịa GPU dị ala
Na-eje ozi ndị enyemaka nkata ogologo okwu na-etinye akwụkwọ ma ọ bụ codebase na-enweghị ebe nchekwa na-agwụ
Na-emewanye pipeline nchịkọta akwụkwọ ngwa ngwa na-ahazi iri puku kwuru iri puku akara n'otu oge
Ike ọhụụ na multimodal transformers ebe ogologo usoro nke patches oyiyi na-eme ka uche dị oke ọnụ
Usoro mmejuputa
FlashNtị na omume
Ọzụzụ nnukwu ụdị asụsụ dị ka Llama na sistemụ ụdị GPT ngwa ngwa yana ọnụ ahịa GPU dị ala.
Ọzụzụ nnukwu ụdị asụsụ dị ka Llama na sistemụ ụdị GPT ngwa ngwa yana ọnụ ahịa GPU dị ala Otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmadụ na-abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ọnụ ahịa njehie ka oge na-aga.
FlashNtị na omume
Na-eje ozi ndị enyemaka nkata ogologo okwu na-etinye akwụkwọ ma ọ bụ codebase na-enweghị ebe nchekwa na-agwụ.
Ijere ndị na-enyere aka mkparịta ụka ogologo oge na-etinye akwụkwọ niile ma ọ bụ codebases na-enweghị ebe nchekwa adịghị agwụ agwụ Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
FlashNtị na omume
Na-emewanye pipeline nchịkọta akwụkwọ ngwa ngwa na-ahazi iri puku kwuru iri puku akara n'otu oge.
Ịme ngwa ngwa akwụkwọ-nchịkọta pipeline nke na-ahazi iri puku kwuru iri puku akara n'otu oge Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-ebuwanye ibu maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
FlashNtị na omume
Ike ọhụụ na multimodal transformers ebe ogologo usoro nke patches oyiyi na-eme ka uche dị oke ọnụ.
Ikike ọhụụ na multimodal transformers ebe ogologo usoro nke ihe oyiyi patches na-eme ka anya dị ọnụ ahịa Otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta ihe na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.