Viini vya Tensor
Tensor Cores ni vitengo maalum vya maunzi ndani ya GPU za kisasa za NVIDIA ambavyo hufanya shughuli za kuzidisha na kukusanya za matrix haraka sana.
Muhtasari
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Dive ya kina
Iliyoletwa na usanifu wa Volta mwaka wa 2017, Tensor Cores ni mizunguko iliyojitolea ambayo hujumuisha kuzidisha kwa matrix ndogo pamoja na nyongeza (D = A x B + C) katika operesheni moja, badala ya kufanya kila kuzidisha moja kwa wakati kwenye cores za kawaida za CUDA. Kwa sababu karibu kila safu ya mtandao wa neva hupungua hadi kuzidisha matrix, hii inalingana na AI ya hesabu inayohitaji. Kila kizazi cha GPU kilipanua kile wanachoshughulikia: Volta ilifanya vigae 4x4 FP16, huku baadaye miundo ya Ampere, Hopper, na Blackwell iliongeza miundo ya usahihi wa chini kama TF32, BF16, INT8, FP8, na FP4. Usahihi wa chini unamaanisha nambari zaidi zinazochakatwa kwa kila saa, na hivyo kuongeza kasi ya upitishaji wa mafunzo na makisio huku usahihi ukikubalika.
Ufahamu wa Kiufundi
Kiini cha Tensor huzidisha matiti mawili madogo na kukusanya matokeo katika hatua moja iliyounganishwa, ikitumia ukweli kwamba thamani sawa za ingizo hutumika tena katika vipengele vingi vya matokeo. Kwa kawaida husoma pembejeo kwa usahihi uliopunguzwa (FP16, BF16, au FP8) lakini hukusanya jumla inayoendeshwa kwa usahihi wa juu (mara nyingi FP32) ili kupunguza makosa ya kuzungusha. Maktaba za programu kama vile cuBLAS na cuDNN, na mifumo kama PyTorch, weka matiti makubwa kwenye vizuizi hivi kiotomatiki ili miundo ipate kasi bila usimbaji wenyewe.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Cores za Tensor
Tensor Cores zinaendelea kusogea kuelekea usahihi wa chini kabisa: Hopper aliongeza FP8 na Blackwell alianzisha 4-bit FP4 na kuongeza vifaa vinavyodhibitiwa na maunzi, takribani mara mbili ya kila hatua kwa mizigo ya kazi ya inference. Tarajia usaidizi mkali zaidi wa uchache (kuruka uzani sifuri), miundo ya kupima mizani ndogo ambayo huambatanisha vipengele vya mizani kwenye vijisehemu vidogo vya nambari, na ujumuishaji wa kina na mifumo ya kumbukumbu ili viini zisalie kulishwa. Miundo inapokua, injini ya matrix, si kasi ya saa mbichi, inasalia kuwa uwanja wa vita wa utendaji wa maunzi wa AI.
Utekelezaji wa Ulimwengu Halisi
Kufunza miundo mikubwa ya lugha kama vile vibadilishajigeuza vya mtindo wa GPT, ambapo mabilioni ya matriki ya kuzidisha kwa kila hatua yanaendeshwa kwenye Tensor Cores katika BF16 au FP8.
Inaendesha makisio ya wakati halisi ya chatbots na jenereta za picha, kwa kutumia ukadiriaji wa INT8 au FP8 ili kuwahudumia watumiaji zaidi kwa kila GPU.
Kuongeza kasi ya NVIDIA DLSS katika michezo ya video, ambapo mtandao wa neva huinua fremu zenye msongo wa chini kwa kutumia Tensor Cores kila fremu.
Kuharakisha kompyuta ya kisayansi kama vile kukunja-protini (AlphaFold) na miundo ya hali ya hewa ambayo imebadilishwa kuwa mizigo mizito ya mfumo wa neva.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tensor Cores quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Usambamba wa Tensor kwa Modeli Kubwa
Maswali yanayoulizwa mara kwa mara
What is Tensor Cores?
Tensor Cores ni vitengo maalum vya maunzi ndani ya GPU za kisasa za NVIDIA ambavyo hufanya shughuli za kuzidisha na kukusanya za matrix haraka sana. Ndio sababu kuu ya GPU moja inaweza kutoa mafunzo na kuendesha maagizo ya mitandao mikubwa ya neural kwa kasi zaidi kuliko komputa ya madhumuni ya jumla ingeruhusu.
Je, ni operesheni gani ya msingi ya hisabati ambayo Tensor Cores imeundwa mahsusi ili kuharakisha?
Tensor Cores hufanya kuzidisha matrix iliyounganishwa pamoja na mkusanyiko katika hatua moja, ambayo ni operesheni haswa ambayo inatawala tabaka za mtandao wa neva.
Ni usanifu gani wa NVIDIA GPU ulioanzisha Tensor Cores kwanza?
Tensor Cores ilianza na usanifu wa Volta mnamo 2017, kuanzia na shughuli za matrix za FP16 4x4.
Kwa nini Tensor Cores mara nyingi hutumia usahihi uliopunguzwa kama FP16 au FP8?
Kutumia biti chache kwa kila nambari kunamaanisha thamani zaidi kutiririka kupitia maunzi kila mzunguko, na kuongeza kasi kwa upotevu mdogo tu, ambao kawaida huvumilika, wa usahihi.
Ili kuhifadhi usahihi, je, Tensor Cores hutumia usahihi gani kwa jumla inayoendesha (mkusanyiko)?
Ingizo zinaweza kuwa na usahihi wa chini, lakini kikusanyaji kawaida hufanya kazi kwa usahihi wa juu kama FP32 ili kupunguza mkusanyiko wa makosa ya kuzungusha.
Mifumo ya AI ya kila siku kama PyTorch hutumiaje Tensor Cores?
Maktaba za msingi huvunja shughuli kubwa za matrix kiotomatiki kuwa vigae vya ukubwa wa Tensor-Core, kwa hivyo mifumo hupata kasi bila usimbaji mwenyewe.