Nchịkọta
Tensor Cores bụ ngwaike pụrụ iche n'ime NVIDIA GPU nke ọgbara ọhụrụ na-arụ ọrụ matriks na-amụba ma na-achịkọta ngwa ngwa. Ha bụ isi ihe kpatara otu GPU nwere ike ịzụ ma na-agba ọsọ nnukwu netwọkụ akwara ozi ngwa ngwa karịa mkpokọta ebumnuche n'ozuzu ga-ekwe.
Tensor Cores bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma ụdị, ọnụ ahịa akụrụngwa, nkwụsị, na ntụkwasị obi n'ọ̀tụ̀tụ̀.
Ime miri emi
Ewebata ya na ihe owuwu Volta na 2017, Tensor Cores bụ sekit raara onwe ya nye na-agbakọ obere ọnụọgụ matrix gbakwunyere (D = A x B + C) n'otu ọrụ, kama ime nke ọ bụla na-amụba otu n'otu oge na cores CUDA ọkọlọtọ. N'ihi na ihe fọrọ nke nta ka ọ bụrụ akụkụ ọ bụla nke netwọkụ akwara na-ebelata ka ọ bụrụ ụbara matriks, nke a dabara na mgbakọ na mwepụ AI chọrọ n'ezie. Ọgbọ GPU ọ bụla gbasaara ihe ha na-arụ: Volta mere taịlị 4 × 4 FP16, ebe emechara Ampere, Hopper, na Blackwell architectures gbakwunyere usoro dị ala dị ka TF32, BF16, INT8, FP8, na FP4. Obere nkenke pụtara ọnụ ọgụgụ ndị ahazigharịrị n'otu elekere, na-abawanye n'ike n'ike mmepụta maka ọzụzụ na ntinye aka ma na-edobe izi ezi nke anabatara.
Nghọta nka nka
A Tensor Core na-amụba obere matrices abụọ ma na-achịkọta nsonaazụ ya n'otu nzọụkwụ jikọtara ọnụ, na-erigbu eziokwu ahụ bụ na a na-ejigharị otu ụkpụrụ ntinye ahụ n'ọtụtụ ihe nrụpụta. Ọ na-agụkarị ntinye n'ụzọ ziri ezi (FP16, BF16, ma ọ bụ FP8) mana na-akwakọba nchikota na-agba ọsọ na nkenke dị elu (na-abụkarị FP32) iji kpachie njehie okirikiri. Ọbá akwụkwọ sọftụwia dị ka cuBLAS na cuDNN, yana usoro dị ka PyTorch, tile nnukwu matrices n'ime obere ngọngọ ndị a na-akpaghị aka ka ụdị na-enweta ọsọ ọsọ na-enweghị ntinye akwụkwọ ntuziaka.
Mastering Tensor Cores
Tensor Cores bụ ngwaike pụrụ iche n'ime NVIDIA GPU nke ọgbara ọhụrụ na-arụ ọrụ matriks na-amụba ma na-achịkọta ngwa ngwa. Ha bụ isi ihe kpatara otu GPU nwere ike ịzụ ma na-agba ọsọ nnukwu netwọkụ akwara ozi ngwa ngwa karịa mkpokọta ebumnuche n'ozuzu ga-ekwe. Tensor Cores bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma ụdị, ọnụ ahịa akụrụngwa, nkwụsị, na ntụkwasị obi n'ọ̀tụ̀tụ̀. Iji wuo nghọta miri emi, na-emeso Tensor Cores dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe usoro ahụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji Tensor Cores na-ebuli ụlọ, data, na nhọrọ akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ọzụzụ nnukwu ụdị asụsụ dị ka mgbanwe mgbanwe ụdị GPT, ebe ọtụtụ ijeri matrix multiplications kwa nzọụkwụ na-agba ọsọ na Tensor Cores na BF16 ma ọ bụ FP8.
Na-agba ọsọ ntinye ozugbo maka chatbots na ndị na-emepụta ihe onyonyo, na-eji ọnụọgụ INT8 ma ọ bụ FP8 iji jeere ndị ọrụ karịa kwa GPU ozi.
Na-eme ngwa ngwa NVIDIA DLSS na egwuregwu vidiyo, ebe netwọkụ akwara na-ebuli okpokolo agba dị ala site na iji Tensor Cores nke ọ bụla.
Na-eme ka kọmpụta sayensị ọsọ ọsọ dị ka mpịakọta protein (AlfaFold) na ụdị ihu igwe emezigharịrị dị ka matriks-arọ akwara arụ ọrụ.
Usoro mmejuputa
Tensor Cores na omume
Ọzụzụ nnukwu ụdị asụsụ dị ka mgbanwe mgbanwe ụdị GPT, ebe ọtụtụ ijeri matrix multiplications kwa nzọụkwụ na-agba ọsọ na Tensor Cores na BF16 ma ọ bụ FP8.
Ọzụzụ nnukwu ụdị asụsụ dị ka ihe ntụgharị ụdị GPT, ebe ọtụtụ ijeri matrix multiplications kwa nzọụkwụ na-agba ọsọ na Tensor Cores na BF16 ma ọ bụ FP8 Otu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ọnụ okwu, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Tensor Cores na omume
Na-agba ọsọ ntinye ozugbo maka chatbots na ndị na-emepụta ihe onyonyo, na-eji ọnụọgụ INT8 ma ọ bụ FP8 iji jeere ndị ọrụ karịa kwa GPU ozi.
Na-agba ọsọ ntinye oge maka chatbots na ndị na-emepụta ihe oyiyi, na-eji INT8 ma ọ bụ FP8 quantization ijere ọtụtụ ndị ọrụ na-arụ ọrụ na otu GPU na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Tensor Cores na omume
Na-eme ngwa ngwa NVIDIA DLSS na egwuregwu vidiyo, ebe netwọkụ akwara na-ebuli okpokolo agba dị ala site na iji Tensor Cores nke ọ bụla.
Na-eme ngwa ngwa NVIDIA DLSS na egwuregwu vidiyo, ebe netwọkụ akwara na-ebuli okpokolo agba dị ala site na iji Tensor Cores nke ọ bụla otu etiti na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Tensor Cores na omume
Na-eme ka kọmpụta sayensị ọsọ ọsọ dị ka mpịakọta protein (AlfaFold) na ụdị ihu igwe emezigharịrị dị ka matriks-arọ akwara arụ ọrụ.
Ịme ngwa ngwa nke sayensị dị ka protein-folding (AlphaFold) na ụdị ihu igwe nke emezigharịrị dị ka matrix-arọ arụ ọrụ akwara ndị otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ọnụ okwu ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.