কি হয়েছে
Lec রিপোর্ট করেছে যে Qualcomm মোবাইল ডিভাইসে ক্রমাগত এজেন্টিক এআই কাজের চাপের জন্য 10 সেপ্টেম্বর একটি পরবর্তী প্রজন্মের হেক্সাগন নিউরাল প্রসেসিং ইউনিট উন্মোচন করেছে। রিপোর্ট করা ডিজাইন ট্রান্সফরমার ওয়ার্কলোডের জন্য একটি এলিমেন্ট অ্যাক্সিলারেটর যোগ করে, শেয়ার্ড মেমরি 50% বৃদ্ধি করে এবং 30 বিলিয়ন পর্যন্ত প্যারামিটার সহ মিশ্রন-অফ-বিশেষজ্ঞ মডেল সমর্থন করে, প্রতিটি জেনারেট টোকেনের জন্য প্রায় 3 বিলিয়ন সক্রিয় থাকে। The Lec এর মতে, NPU FP16, INT2, INT4, INT8 এবং FP8 ডেটা ফর্ম্যাট সমর্থন করে। Qualcomm দাবি করে যে INT4 প্রিফিল কর্মক্ষমতা 50% পর্যন্ত দ্রুত হতে পারে এবং প্রতিক্রিয়াগুলি 1.5 সেকেন্ডের মধ্যে শুরু হতে পারে, যদিও Lec সেই পরিসংখ্যানগুলির স্বাধীন পরীক্ষার রিপোর্ট করে না। মাল্টিস্টেপ ওয়ার্কফ্লো এবং গ্রাফিক্স-সম্পর্কিত AI প্রক্রিয়াকরণের জন্য Snapdragon-এর Oryon CPU এবং Adreno GPU-এর সাথে কাজ করার উদ্দেশ্যে NPU-এর উদ্দেশ্য। প্রতিবেদনে বলা হয়েছে যে কোয়ালকম 22 থেকে 24 সেপ্টেম্বর মার্কিন যুক্তরাষ্ট্রে স্ন্যাপড্রাগন সামিটে আরও বিশদ সরবরাহ করবে। উত্সটি একটি নির্দিষ্ট স্মার্টফোন, লঞ্চের তারিখ, খুচরা উপলব্ধতা, দাম বা নিশ্চিত তৃতীয়-পক্ষের বেঞ্চমার্ক ফলাফল সনাক্ত করে না।
Lec রিপোর্ট করেছে যে Qualcomm তার পরবর্তী প্রজন্মের Hexagon NPU উন্মোচন করেছে 10 সেপ্টেম্বর, এটিকে AI সিস্টেমের জন্য মোবাইল হার্ডওয়্যার হিসাবে অবস্থান করে যা প্রসঙ্গ, অ্যাপ্লিকেশন জুড়ে যুক্তি ব্যাখ্যা করে এবং ব্যবহারকারীদের জন্য কার্য সম্পাদন করে। উল্লিখিত হার্ডওয়্যারটি বিদ্যমান স্কেলার, ভেক্টর এবং ম্যাট্রিক্স এক্সটেনশনগুলির পাশাপাশি একটি এলিমেন্ট অ্যাক্সিলারেটর যোগ করে, শক্তি ব্যবহার পরিচালনা করার সময় ট্রান্সফরমার-মডেল গণনা উন্নত করার লক্ষ্যে।
প্রতিবেদনে বলা হয়েছে যে ভাগ করা মেমরির ক্ষমতা আগের ডিজাইনের তুলনায় 50% বেশি। কোয়ালকমের বিবৃত যুক্তি হল যে মডেল স্টেট, অ্যাক্টিভেশন এবং ইন্টারমিডিয়েট টেনসর ডেটা প্রসেসরের কাছাকাছি রাখা বাহ্যিক DRAM-এ স্থানান্তর হ্রাস করতে পারে, সম্ভাব্যভাবে প্রসঙ্গ ধরে রাখা এবং টাস্ক স্যুইচিং উন্নত করতে পারে। প্রতিবেদনটি পূর্ববর্তী হেক্সাগন বাস্তবায়নের সাথে একটি স্বাধীন তুলনা প্রদান করে না।
নতুন হেক্সাগন কথিতভাবে 30 বিলিয়ন প্যারামিটার সহ বিশেষজ্ঞদের মিশ্রণকে সমর্থন করে, যখন প্রতি টোকেনে প্রায় 3 বিলিয়ন রাউটেড প্যারামিটার সক্রিয় করে। Lec এছাড়াও NAND ফ্ল্যাশ-টু-মেমরি ম্যানেজমেন্ট এবং ক্যাশিং রিপোর্ট করে যা শুধুমাত্র প্রাসঙ্গিক বিশেষজ্ঞ উপাদানগুলিকে DRAM-এ লোড করার উদ্দেশ্যে এবং ক্যাশে ঘন ঘন ব্যবহৃত উপাদানগুলিকে ধরে রাখার উদ্দেশ্যে।
NPU FP16, INT2, INT4, INT8 এবং FP8 নির্ভুল বিন্যাস সমর্থন করে। Lec 50% পর্যন্ত দ্রুত INT4 প্রিফিল দাবি করে এবং Qualcomm-এ 1.5 সেকেন্ডের মধ্যে প্রতিক্রিয়া শুরু হয়। কোনো স্বাধীন পরীক্ষা, ডিভাইসের প্রাপ্যতা, মূল্য বা নির্দিষ্ট ভোক্তা পণ্য সরবরাহ করা হয় না।
কেন এটা গুরুত্বপূর্ণ
Qualcomm-এর রিপোর্ট করা ডিজাইন যদি বর্ণনা অনুযায়ী ভোক্তা ডিভাইসগুলিতে পৌঁছায়, তাহলে এটি ফোনে স্থানীয়ভাবে চালানোর জন্য বৃহত্তর এবং আরও প্রসঙ্গ-সচেতন AI সিস্টেমগুলিকে আরও ব্যবহারিক করে তুলতে পারে। প্রসেসরের কাছে আরও মডেল ডেটা রাখলে মেমরির ট্র্যাফিক এবং লেটেন্সি কমে যেতে পারে, যখন বিশেষজ্ঞের আর্কিটেকচারের মিশ্রণ প্রতিটি কাজের জন্য প্রতিটি প্যারামিটার সক্রিয় না করে বিশেষ ক্ষমতাগুলিতে অ্যাক্সেস সরবরাহ করতে পারে। এটি গোপনীয়তা, প্রতিক্রিয়াশীলতা এবং অফলাইন ব্যবহারের জন্য গুরুত্বপূর্ণ, তবে ডিভাইস, মডেল এবং স্বাধীন পরীক্ষা উপলব্ধ না হওয়া পর্যন্ত ব্যবহারিক সুবিধাটি যাচাই করা হয়নি।
ঘোষণাটি মোবাইল AI-তে একটি কেন্দ্রীয় সীমাবদ্ধতাকে লক্ষ্য করে: মেমরি ব্যান্ডউইথ, ব্যাটারি ব্যবহার এবং লেটেন্সির উপর কঠোর সীমার মধ্যে সক্ষম মডেলগুলি চালানো। একটি বৃহত্তর শেয়ার্ড-মেমরি পুল এবং মিশ্রন-অফ-বিশেষজ্ঞ উপাদানগুলির নির্বাচনী সক্রিয়করণ স্থানীয় অনুমানের সময় সরানো ডেটার পরিমাণ কমাতে পারে, যদি Qualcomm-এর আর্কিটেকচার বর্ণনা অনুযায়ী কাজ করে।
স্থানীয় প্রক্রিয়াকরণের ব্যবহারিক সুবিধা থাকতে পারে কারণ কিছু মিথস্ক্রিয়া একটি দূরবর্তী পরিষেবাতে প্রতিটি ইনপুট না পাঠিয়ে একটি ফোনে পরিচালনা করা যেতে পারে। যাইহোক, উত্সটি গোপনীয়তার গ্যারান্টি, অফলাইন কার্যকারিতা, ব্যাটারি উন্নতি বা বাস্তব অ্যাপ্লিকেশন জুড়ে কর্মক্ষমতা স্থাপন করে না। এই ফলাফলগুলি সফ্টওয়্যার, মডেল কম্প্রেশন, তাপীয় সীমা এবং হ্যান্ডসেট বাস্তবায়নের উপর নির্ভর করে।
সিপিইউ এবং জিপিইউ-এর সাথে রিপোর্ট করা একীকরণ পরামর্শ দেয় যে কোয়ালকম এজেন্টিক এআইকে একটি বিচ্ছিন্ন অ্যাক্সিলারেটর বৈশিষ্ট্যের পরিবর্তে একটি প্ল্যাটফর্ম কাজের চাপ হিসাবে বিবেচনা করছে। এর তাত্পর্য নির্ভর করবে বিকাশকারীরা দক্ষতার সাথে হার্ডওয়্যার অ্যাক্সেস করতে পারে কিনা এবং ফোন নির্মাতারা এটি ব্যবহার করে এমন মডেল এবং অ্যাপ্লিকেশন পাঠায় কিনা।
ইন্টারেক্টিভ মেকানিজম: এটা আসলে কিভাবে কাজ করে
এই বিকাশের পিছনে অন্তর্নিহিত প্রযুক্তিটি ইন্টারেক্টিভভাবে অন্বেষণ করুন।
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
পরবর্তী কি দেখতে
পরবর্তী অর্থবহ প্রমাণ হবে কোয়ালকমের স্ন্যাপড্রাগন সামিট প্রকাশ এবং NPU ব্যবহার করে চূড়ান্ত ডিভাইস। নামযুক্ত চিপ প্ল্যাটফর্ম, সমর্থিত মডেল, বিকাশকারী সরঞ্জাম, প্রকৃত অন-ডিভাইস পরিমাপ, টেকসই শক্তি খরচ এবং দাবিকৃত প্রতিক্রিয়া সময় সীমিত প্রদর্শনের পরিবর্তে সম্পূর্ণ এজেন্টিক ওয়ার্কফ্লোতে প্রযোজ্য কিনা দেখুন। প্রাপ্যতা, মূল্য এবং আঞ্চলিক বিতরণ প্রতিবেদনে নথিভুক্ত করা হয় না।
কোয়ালকম বলেছে যে 22 থেকে 24 সেপ্টেম্বরের মধ্যে স্ন্যাপড্রাগন সামিটে আরও বিশদ প্রকাশ করা হবে। এই প্রকাশগুলি নির্দিষ্ট স্ন্যাপড্রাগন প্ল্যাটফর্ম, স্থাপনার সময়রেখা, সমর্থিত অপারেটিং পরিবেশ এবং বিকাশকারীর অ্যাক্সেস স্পষ্ট করতে পারে।
স্বাধীন পরীক্ষার রিপোর্ট করা INT4 পারফরম্যান্সের উন্নতি, 1.5-সেকেন্ডের প্রতিক্রিয়া-শুরু দাবি, বিদ্যুত খরচ এবং মাল্টিস্টেপ এজেন্টিক কাজের চাপের অধীনে টেকসই কর্মক্ষমতা যাচাই করা উচিত। উত্স এই ধরনের কোন পরীক্ষা প্রদান করে না.
কোন স্মার্টফোনগুলি এনপিইউ ব্যবহার করবে, কখন তারা গ্রাহকদের কাছে পৌঁছাবে, তাদের দাম কী হবে বা লঞ্চের সময় সমস্ত রিপোর্ট করা সক্ষমতা সক্ষম হবে কিনা তা এখনও জানা যায়নি।