পরবর্তী আপপরবর্তী গাইড
অন-ডিভাইস Apple স্থাপনার জন্য মূল ML
টেকনিক্যাল
প্রযুক্তিগত গাইড
টেনসর কোর হল আধুনিক এনভিআইডিএ জিপিইউ-এর মধ্যে বিশেষায়িত হার্ডওয়্যার ইউনিট যা ম্যাট্রিক্স গুন-এন্ড-সঞ্চয়কারী ক্রিয়াকলাপগুলি অত্যন্ত দ্রুত করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এগুলি হল প্রধান কারণ একটি একক GPU সাধারণ-উদ্দেশ্য কম্পিউটের অনুমতির চেয়ে দ্রুত বড় নিউরাল নেটওয়ার্ক অর্ডারগুলিকে প্রশিক্ষণ এবং চালাতে পারে।
2017 সালে ভোল্টা আর্কিটেকচারের সাথে প্রবর্তিত, টেনসর কোর হল ডেডিকেটেড সার্কিট যেগুলি স্ট্যান্ডার্ড CUDA কোরে প্রতিটি গুন করার পরিবর্তে একটি একক অপারেশনে একটি ছোট ম্যাট্রিক্স গুন এবং একটি যোগ (D = A x B + C) গণনা করে। যেহেতু একটি নিউরাল নেটওয়ার্কের কার্যত প্রতিটি স্তর ম্যাট্রিক্স গুণে হ্রাস করে, এটি প্রকৃতপক্ষে গণিত AI এর প্রয়োজনের সাথে মেলে। প্রতিটি GPU প্রজন্ম তারা যা পরিচালনা করে তা প্রসারিত করেছে: ভোল্টা 4x4 FP16 টাইলস করেছে, যখন পরে অ্যাম্পিয়ার, হপার এবং ব্ল্যাকওয়েল আর্কিটেকচারগুলি TF32, BF16, INT8, FP8 এবং FP4 এর মতো নিম্ন-নির্ভুলতা বিন্যাস যুক্ত করেছে। নিম্ন নির্ভুলতা মানে প্রতি ঘড়িতে আরও বেশি সংখ্যা প্রক্রিয়া করা হয়, সঠিকতা গ্রহণযোগ্য রেখে প্রশিক্ষণ এবং অনুমানের জন্য নাটকীয়ভাবে থ্রুপুট বৃদ্ধি করে।
GPT-শৈলীর ট্রান্সফরমারের মতো বৃহৎ ভাষার মডেলের প্রশিক্ষণ দেওয়া, যেখানে BF16 বা FP8-এ টেনসর কোরে প্রতি ধাপে কোটি কোটি ম্যাট্রিক্স গুণন চালানো হয়।
GPU প্রতি আরও ব্যবহারকারীদের পরিবেশন করতে INT8 বা FP8 কোয়ান্টাইজেশন ব্যবহার করে চ্যাটবট এবং ইমেজ জেনারেটরের জন্য রিয়েল-টাইম ইনফারেন্স চালানো।
ভিডিও গেমগুলিতে NVIDIA DLSS ত্বরান্বিত করা, যেখানে একটি নিউরাল নেটওয়ার্ক টেনসর কোর প্রতিটি ফ্রেম ব্যবহার করে নিম্ন-রেজোলিউশনের ফ্রেমগুলিকে উচ্চতর করে।
বৈজ্ঞানিক কম্পিউটিং যেমন প্রোটিন-ফোল্ডিং (আলফাফোল্ড) এবং আবহাওয়ার মডেলগুলিকে দ্রুত করা যা ম্যাট্রিক্স-ভারী নিউরাল ওয়ার্কলোড হিসাবে পুনর্নির্মাণ করা হয়েছে।
টেনসর কোরগুলি সর্বদা-নিম্ন নির্ভুলতার দিকে অগ্রসর হতে থাকে: Hopper FP8 যোগ করেছে এবং ব্ল্যাকওয়েল হার্ডওয়্যার-পরিচালিত স্কেলিং সহ 4-বিট FP4 প্রবর্তন করেছে, অনুমান-ভারী কাজের চাপের জন্য প্রতিটি ধাপে থ্রুপুটকে প্রায় দ্বিগুণ করে। স্প্যার্সিটি (শূন্য ওজন এড়িয়ে যাওয়া), মাইক্রোস্কেলিং ফরম্যাট যা সংখ্যার ছোট ব্লকের সাথে স্কেল ফ্যাক্টর সংযুক্ত করে এবং মেমরি সিস্টেমের সাথে গভীর একীকরণের জন্য কঠোর সমর্থন আশা করুন যাতে কোরগুলি খাওয়ানো থাকে। মডেলগুলি বাড়ার সাথে সাথে, ম্যাট্রিক্স ইঞ্জিন, কাঁচা ঘড়ির গতি নয়, AI হার্ডওয়্যার পারফরম্যান্সের জন্য কেন্দ্রীয় যুদ্ধক্ষেত্র হিসাবে রয়ে গেছে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
টেনসর কোর হল আধুনিক এনভিআইডিএ জিপিইউ-এর মধ্যে বিশেষায়িত হার্ডওয়্যার ইউনিট যা ম্যাট্রিক্স গুন-এন্ড-সঞ্চয়কারী ক্রিয়াকলাপগুলি অত্যন্ত দ্রুত করে। এগুলি প্রধান কারণ একটি একক GPU সাধারণ-উদ্দেশ্য কম্পিউটের অনুমতির চেয়ে দ্রুত বড় নিউরাল নেটওয়ার্ক অর্ডারগুলিকে প্রশিক্ষণ এবং চালাতে পারে।
টেনসর কোরগুলি এক ধাপে একটি ফিউজড ম্যাট্রিক্স গুণন প্লাস সঞ্চয় করে, যা ঠিক সেই অপারেশন যা নিউরাল নেটওয়ার্ক স্তরগুলিকে প্রাধান্য দেয়।
FP16 4x4 ম্যাট্রিক্স অপারেশনের মাধ্যমে 2017 সালে টেনসর কোর ভল্টা আর্কিটেকচারের সাথে আত্মপ্রকাশ করে।
সংখ্যা প্রতি কম বিট ব্যবহার করার অর্থ হল প্রতিটি চক্রের হার্ডওয়্যারের মাধ্যমে আরও মান প্রবাহিত হয়, শুধুমাত্র একটি ছোট, সাধারণত সহনীয়, নির্ভুলতা হারানোর সাথে গতি বৃদ্ধি করে।
ইনপুটগুলি কম নির্ভুলতা হতে পারে, কিন্তু রাউন্ডিং ত্রুটিগুলির বিল্ডআপকে সীমিত করতে সঞ্চয়কারী সাধারণত FP32 এর মতো উচ্চ নির্ভুলতায় চলে।
অন্তর্নিহিত লাইব্রেরিগুলি স্বয়ংক্রিয়ভাবে টেনসর-কোর-আকারের টাইলগুলিতে বড় ম্যাট্রিক্স অপারেশনগুলিকে ভেঙে দেয়, তাই ফ্রেমওয়ার্কগুলি ম্যানুয়াল কোডিং ছাড়াই গতি পায়।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
অন-ডিভাইস Apple স্থাপনার জন্য মূল ML
টেকনিক্যাল