InayofuataMwongozo unaofuata
Core ML for On-Device Apple Deployment
Kiufundi
MWONGOZO wa Kiufundi
Viini vya Tensor
Tensor Cores ni vitengo maalum vya maunzi ndani ya GPU za kisasa za NVIDIA ambavyo hufanya shughuli za kuzidisha na kukusanya za matrix haraka sana.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Dive ya kina
Iliyoletwa na usanifu wa Volta mwaka wa 2017, Tensor Cores ni mizunguko iliyojitolea ambayo hujumuisha kuzidisha kwa matrix ndogo pamoja na nyongeza (D = A x B + C) katika operesheni moja, badala ya kufanya kila kuzidisha moja kwa wakati kwenye cores za kawaida za CUDA. Kwa sababu karibu kila safu ya mtandao wa neva hupungua hadi kuzidisha matrix, hii inalingana na AI ya hesabu inayohitaji. Kila kizazi cha GPU kilipanua kile wanachoshughulikia: Volta ilifanya vigae 4x4 FP16, huku baadaye miundo ya Ampere, Hopper, na Blackwell iliongeza miundo ya usahihi wa chini kama TF32, BF16, INT8, FP8, na FP4. Usahihi wa chini unamaanisha nambari zaidi zinazochakatwa kwa kila saa, na hivyo kuongeza kasi ya upitishaji wa mafunzo na makisio huku usahihi ukikubalika.
Utekelezaji wa Ulimwengu Halisi
Kufunza miundo mikubwa ya lugha kama vile vibadilishajigeuza vya mtindo wa GPT, ambapo mabilioni ya matriki ya kuzidisha kwa kila hatua yanaendeshwa kwenye Tensor Cores katika BF16 au FP8.
Inaendesha makisio ya wakati halisi ya chatbots na jenereta za picha, kwa kutumia ukadiriaji wa INT8 au FP8 ili kuwahudumia watumiaji zaidi kwa kila GPU.
Kuongeza kasi ya NVIDIA DLSS katika michezo ya video, ambapo mtandao wa neva huinua fremu zenye msongo wa chini kwa kutumia Tensor Cores kila fremu.
Kuharakisha kompyuta ya kisayansi kama vile kukunja-protini (AlphaFold) na miundo ya hali ya hewa ambayo imebadilishwa kuwa mizigo mizito ya mfumo wa neva.
Mustakabali wa Cores za Tensor
Tensor Cores zinaendelea kusogea kuelekea usahihi wa chini kabisa: Hopper aliongeza FP8 na Blackwell alianzisha 4-bit FP4 na kuongeza vifaa vinavyodhibitiwa na maunzi, takribani mara mbili ya kila hatua kwa mizigo ya kazi ya inference. Tarajia usaidizi mkali zaidi wa uchache (kuruka uzani sifuri), miundo ya kupima mizani ndogo ambayo huambatanisha vipengele vya mizani kwenye vijisehemu vidogo vya nambari, na ujumuishaji wa kina na mifumo ya kumbukumbu ili viini zisalie kulishwa. Miundo inapokua, injini ya matrix, si kasi ya saa mbichi, inasalia kuwa uwanja wa vita wa utendaji wa maunzi wa AI.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Tensor Cores quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Tensor Cores?
Tensor Cores ni vitengo maalum vya maunzi ndani ya GPU za kisasa za NVIDIA ambavyo hufanya shughuli za kuzidisha na kukusanya za matrix haraka sana. Ndio sababu kuu ya GPU moja inaweza kutoa mafunzo na kuendesha maagizo ya mitandao mikubwa ya neural kwa kasi zaidi kuliko komputa ya madhumuni ya jumla ingeruhusu.
Je, ni operesheni gani ya msingi ya hisabati ambayo Tensor Cores imeundwa mahsusi ili kuharakisha?
Tensor Cores hufanya kuzidisha matrix iliyounganishwa pamoja na mkusanyiko katika hatua moja, ambayo ni operesheni haswa ambayo inatawala tabaka za mtandao wa neva.
Ni usanifu gani wa NVIDIA GPU ulioanzisha Tensor Cores kwanza?
Tensor Cores ilianza na usanifu wa Volta mnamo 2017, kuanzia na shughuli za matrix za FP16 4x4.
Kwa nini Tensor Cores mara nyingi hutumia usahihi uliopunguzwa kama FP16 au FP8?
Kutumia biti chache kwa kila nambari kunamaanisha thamani zaidi kutiririka kupitia maunzi kila mzunguko, na kuongeza kasi kwa upotevu mdogo tu, ambao kawaida huvumilika, wa usahihi.
Ili kuhifadhi usahihi, je, Tensor Cores hutumia usahihi gani kwa jumla inayoendesha (mkusanyiko)?
Ingizo zinaweza kuwa na usahihi wa chini, lakini kikusanyaji kawaida hufanya kazi kwa usahihi wa juu kama FP32 ili kupunguza mkusanyiko wa makosa ya kuzungusha.
Mifumo ya AI ya kila siku kama PyTorch hutumiaje Tensor Cores?
Maktaba za msingi huvunja shughuli kubwa za matrix kiotomatiki kuwa vigae vya ukubwa wa Tensor-Core, kwa hivyo mifumo hupata kasi bila usimbaji mwenyewe.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii