Tensor ኮሮች
Tensor Cores በዘመናዊ የNVDIA ጂፒዩዎች ውስጥ የማትሪክስ ማባዛት እና የማጠራቀም ስራዎችን በከፍተኛ ፍጥነት የሚያከናውኑ ልዩ ሃርድዌር ክፍሎች ናቸው።
አጠቃላይ እይታ
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
ጥልቅ ዳይቭ
እ.ኤ.አ. በ2017 ከቮልታ አርክቴክቸር ጋር የተዋወቀው Tensor Cores አነስተኛ ማትሪክስ ማባዛትን እና ተጨማሪ (D = A x B + C) በአንድ ኦፕሬሽን የሚያሰሉ፣ እያንዳንዱን በመደበኛ CUDA ኮሮች ላይ አንድ በአንድ ከማባዛት ይልቅ የሚያሰሉ ልዩ ወረዳዎች ናቸው። ምክንያቱም ሁሉም ማለት ይቻላል የነርቭ አውታረ መረብ ሽፋን ወደ ማትሪክስ ብዜት ስለሚቀንስ፣ ይህ በትክክል AI ከሚያስፈልገው ሂሳብ ጋር ይዛመዳል። እያንዳንዱ የጂፒዩ ትውልድ የሚይዘውን አስፋፍቷል፡ ቮልታ 4x4 FP16 ንጣፎችን ሰርቷል፣ በኋላ ግን Ampere፣ Hopper እና Blackwell አርክቴክቸር እንደ TF32፣ BF16፣ INT8፣ FP8 እና FP4 ዝቅተኛ ትክክለኛ ቅርጸቶችን አክለዋል። ትክክለኝነት ዝቅ ማለት ማለት በሰዓት የሚሰሩ ተጨማሪ ቁጥሮች ማለት ነው፣ ይህም ትክክለኛነት ተቀባይነት ያለው ሆኖ ለስልጠና እና ለግምገማ የሚሰጠውን ፍሰት በሚያስደንቅ ሁኔታ ያሳድጋል።
ቴክኒካዊ ግንዛቤ
አንድ Tensor Core ሁለት ትናንሽ ማትሪክስ በማባዛት ውጤቱን በአንድ የተዋሃደ እርምጃ ይሰበስባል፣ ይህም ተመሳሳይ የግቤት እሴቶች በብዙ የውጤት አካላት ላይ እንደገና ጥቅም ላይ የሚውሉበትን እውነታ ይጠቀማል። እሱ በተለምዶ ግብዓቶችን በተቀነሰ ትክክለኛነት (FP16፣ BF16፣ ወይም FP8) ያነባል፣ ነገር ግን የማዞሪያ ስህተትን ለመገደብ ሩጫውን በከፍተኛ ትክክለኛነት (ብዙውን ጊዜ FP32) ይሰበስባል። እንደ cuBLAS እና cuDNN ያሉ የሶፍትዌር ቤተ-ፍርግሞች እና እንደ PyTorch ያሉ ማዕቀፎች ትላልቅ ማትሪክቶችን ወደ እነዚህ ትናንሽ ብሎኮች ሰቅለው ሞዴሎቹ በእጅ ኮድ ሳይሰጡ ፍጥነታቸውን ያገኛሉ።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የ Tensor Cores የወደፊት
Tensor Cores ወደ ምንጊዜም ዝቅተኛ ትክክለኝነት ይንቀሳቀሳሉ፡ Hopper FP8 ን አክሏል እና ብላክዌል 4-ቢት FP4 በሃርድዌር የሚተዳደር ልኬት አስተዋውቋል። ለስፓርት ጥብቅ ድጋፍ (ዜሮ ክብደቶችን መዝለል)፣ ሚዛኑን ከትናንሽ የቁጥሮች ብሎኮች ጋር የሚያያይዙ የማይክሮ-ስኬል ቅርጸቶችን እና ጥልቅ ውህደትን ከማስታወሻ ስርዓቶች ጋር በማዋሃድ ኮሮች እንዲመገቡ ይጠብቁ። ሞዴሎች እያደጉ ሲሄዱ፣ የማትሪክስ ሞተር፣ ጥሬ የሰዓት ፍጥነት ሳይሆን፣ ለ AI ሃርድዌር አፈጻጸም ማዕከላዊ የጦር ሜዳ ሆኖ ይቆያል።
የእውነተኛ-ዓለም አተገባበር
እንደ GPT-style Transformers ያሉ ትልልቅ የቋንቋ ሞዴሎችን ማሰልጠን፣ በአንድ ደረጃ በቢሊዮኖች የሚቆጠሩ የማትሪክስ ብዜቶች በ Tensor Cores በ BF16 ወይም FP8 ውስጥ ይሰራሉ።
በጂፒዩ ብዙ ተጠቃሚዎችን ለማገልገል INT8 ወይም FP8 ኳንትላይዜሽን በመጠቀም ለቻትቦቶች እና የምስል ጀነሬተሮች የእውነተኛ ጊዜ መረጃን በማሄድ ላይ።
እያንዳንዱን ፍሬም Tensor Cores በመጠቀም የነርቭ አውታረ መረብ ዝቅተኛ ጥራት ያላቸውን ክፈፎች ከፍ በሚያደርግበት የቪዲዮ ጨዋታዎች ውስጥ NVIDIA DLSSን በማፋጠን ላይ።
እንደ ፕሮቲን-ማጠፍ (አልፋ ፎልድ) እና የአየር ሁኔታ ሞዴሎች እንደ ማትሪክስ-ከባድ የነርቭ የስራ ጫናዎች የተሻሻሉ ሳይንሳዊ ኮምፒውተሮችን ማፋጠን።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tensor Cores quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለትልቅ ሞዴሎች የ Tensor Parallelism
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Tensor Cores?
Tensor Cores በዘመናዊ የNVDIA ጂፒዩዎች ውስጥ የማትሪክስ ማባዛት እና የማጠራቀም ስራዎችን በከፍተኛ ፍጥነት የሚያከናውኑ ልዩ ሃርድዌር ክፍሎች ናቸው። አንድ ነጠላ ጂፒዩ ትላልቅ የነርቭ ኔትወርኮችን ማሰልጠን እና ማካሄድ የሚችልበት ዋና ምክንያት ከአጠቃላይ ዓላማ ስሌት ከሚፈቀደው ፍጥነት በላይ ነው።
Tensor Cores በተለይ ለማፋጠን የተነደፉት የትኞቹ ዋና የሂሳብ ስራዎች ናቸው?
Tensor Cores የተዋሃደ ማትሪክስ ብዜት እና ክምችትን በአንድ እርምጃ ያከናውናሉ፣ ይህም በትክክል የነርቭ አውታረ መረብ ንብርብሮችን የሚቆጣጠር ክዋኔ ነው።
Tensor Coresን ለመጀመሪያ ጊዜ ያስተዋወቀው የትኛው የNVIDIA ጂፒዩ አርክቴክቸር ነው?
Tensor Cores ከ FP16 4x4 ማትሪክስ ስራዎች ጀምሮ በቮልታ አርክቴክቸር በ2017 ተጀመረ።
ለምንድነው Tensor Cores እንደ FP16 ወይም FP8 የተቀነሰ ትክክለኛነትን ይጠቀማሉ?
በቁጥር ጥቂት ቢት መጠቀም ማለት በእያንዳንዱ ዑደት ውስጥ ብዙ እሴቶች በሃርድዌር ውስጥ ይፈስሳሉ፣ ይህም በትንሽ፣ በተለምዶ የሚታገስ ፣ ትክክለኛነትን በማጣት ፍጥነትን በእጅጉ ይጨምራል።
ትክክለኛነትን ለመጠበቅ፣ Tensor Cores በተለምዶ ለፈጠራ ድምር (ስብስብ) ምን ዓይነት ትክክለኛነት ይጠቀማሉ?
ግብዓቶች ዝቅተኛ ትክክለኛነት ሊሆኑ ይችላሉ፣ ነገር ግን የማጠጋጋት ስህተቶችን ብዛት ለመገደብ አሰባሳቢው ብዙውን ጊዜ እንደ FP32 በከፍተኛ ትክክለኛነት ይሰራል።
እንደ PyTorch ያሉ የዕለት ተዕለት የ AI ማዕቀፎች Tensor Cores እንዴት ይጠቀማሉ?
ከስር ያሉ ቤተ-መጻሕፍት ትላልቅ የማትሪክስ ስራዎችን ወደ Tensor-Core-sized tiles በራስ-ሰር ይሰብራሉ፣ ስለዚህ ማዕቀፎች በእጅ ኮድ ሳይሰጡ ፍጥነታቸውን ያገኛሉ።