প্রযুক্তিগত গাইড
ব্লক-স্পার্স এবং নেটিভ স্পারস মনোযোগ
ব্লক-স্পার্স এবং নেটিভ স্পারস অ্যাটেনশন ট্রান্সফরমারগুলিকে প্রতিটি টোকেনের পরিবর্তে শুধুমাত্র একটি দীর্ঘ অনুক্রমের সবচেয়ে প্রাসঙ্গিক অংশগুলিতে উপস্থিত হতে দেয়, যা স্ট্যান্ডার্ড মনোযোগের চতুর্মুখী খরচ কমিয়ে দেয়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
This is what makes efficient long-context models practical on real hardware.
গভীর ডুব
স্ট্যান্ডার্ড স্ব-মনোযোগ প্রতিটি টোকেনকে অন্য প্রতিটি টোকেনের সাথে তুলনা করে, তাই ক্রম দৈর্ঘ্যের সাথে খরচ চতুর্মুখীভাবে বৃদ্ধি পায়, যা খুব দীর্ঘ নথির জন্য নিষিদ্ধ হয়ে ওঠে। স্পার্স মনোযোগ প্রতিটি টোকেনকে অন্যদের একটি উপসেটে সীমাবদ্ধ করে। ব্লক-স্পার্স পদ্ধতিগুলি ক্রমটিকে ব্লকগুলিতে বিভক্ত করে এবং শুধুমাত্র নির্বাচিত ব্লক জোড়াগুলির জন্য মনোযোগ গণনা করে, যা GPU টেনসর কোরগুলিতে দক্ষতার সাথে মানচিত্র তৈরি করে। নেটিভ স্পারস অ্যাটেনশন (NSA), DeepSeek থেকে, আরও এগিয়ে যায়: এটি প্রশিক্ষণযোগ্য এন্ড-টু-এন্ড এবং হার্ডওয়্যার-সারিবদ্ধ, তিনটি শাখাকে একত্রিত করে, মোটা দানাদার টোকেন সংকোচন, সবচেয়ে গুরুত্বপূর্ণ ব্লকগুলির সূক্ষ্ম-দানাযুক্ত নির্বাচন এবং স্থানীয় প্রসঙ্গের জন্য একটি স্লাইডিং উইন্ডো। যেহেতু স্পার্সিটি প্যাটার্নটি পরে বোল্ট করার পরিবর্তে প্রিট্রেইনিংয়ের সময় শেখা হয়, তাই NSA দীর্ঘ সিকোয়েন্সে বড় স্পিডআপ সরবরাহ করার সময় নির্ভুলতা রক্ষা করে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি সম্পূর্ণ কোডবেস বা দীর্ঘ আইনি চুক্তির উপর একটি মডেল চালানো যেখানে সম্পূর্ণ মনোযোগ GPU মেমরি নিঃশেষ করবে।
ডিপসিকের এনএসএ পূর্ণ মনোযোগ নির্ভুলতা মেলে বা হারানোর সময় প্রাক-প্রশিক্ষণ এবং দীর্ঘ-প্রসঙ্গ অনুমান উভয়কেই ত্বরান্বিত করে।
সংকুচিত ব্লক সারাংশ এবং স্থানীয়ভাবে প্রাসঙ্গিক প্যাসেজগুলিতে অংশগ্রহণের মাধ্যমে বই-দৈর্ঘ্যের নথিগুলির সংক্ষিপ্তকরণ।
দীর্ঘ-প্রসঙ্গ চ্যাট অ্যাসিস্ট্যান্টদের গতি বাড়ানো যার ডিকোডিং ধাপ প্রতিটি টোকেনকে শীর্ষ-র্যাঙ্কযুক্ত ব্লকগুলিতে সীমাবদ্ধ করে মেমরি-বাউন্ড।
ব্লক-স্পার্স এবং নেটিভ স্পারস মনোযোগের ভবিষ্যত
প্রশিক্ষিত, হার্ডওয়্যার-সচেতন স্প্যার্সিটি বিস্ফোরিত খরচ ছাড়াই মিলিয়ন-টোকেন প্রসঙ্গের পথ হয়ে উঠছে। স্পার্স মনোযোগ আশা করি কার্নেল এবং এক্সিলারেটরের সাথে সহ-ডিজাইন করা, লিনিয়ার-অ্যাটেনশন এবং স্টেট-স্পেস আইডিয়ার সাথে মিশ্রিত করা, এবং ফ্রন্টিয়ার লং-প্রসঙ্গ এবং যুক্তি মডেলে গৃহীত। নিদর্শনগুলি শেখার যোগ্য এবং গতিশীল হয়ে উঠলে, মডেলগুলি ক্যোয়ারী প্রতি অভিযোজিতভাবে মনোযোগের বাজেট বরাদ্দ করবে, এবং বেঞ্চমার্কগুলি কেবলমাত্র কাঁচা গুণমান নয়, দীর্ঘ অনুক্রমগুলিতে ডিকোডিং থ্রুপুটকে ক্রমবর্ধমানভাবে পরিমাপ করবে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Block-Sparse and Native Sparse Attention quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Block-Sparse and Native Sparse Attention?
ব্লক-স্পার্স এবং নেটিভ স্পারস অ্যাটেনশন ট্রান্সফরমারগুলিকে প্রতিটি টোকেনের পরিবর্তে শুধুমাত্র একটি দীর্ঘ অনুক্রমের সবচেয়ে প্রাসঙ্গিক অংশগুলিতে উপস্থিত হতে দেয়, যা স্ট্যান্ডার্ড মনোযোগের চতুর্মুখী খরচ কমিয়ে দেয়। এটি বাস্তব হার্ডওয়্যারে কার্যকর দীর্ঘ-প্রসঙ্গ মডেলগুলিকে ব্যবহারিক করে তোলে।
কেন দীর্ঘ ক্রমগুলির জন্য মানক স্ব-মনোযোগ ব্যয়বহুল?
প্রতিটি টোকেন অন্য প্রতিটি টোকেনে উপস্থিত হয়, তাই ক্রম দৈর্ঘ্যের বর্গক্ষেত্রের সাথে গণনা এবং মেমরি স্কেল করুন।
ব্লক-স্পার্স মনোযোগের মূল ধারণা কী?
ক্রমটি ব্লকে বিভক্ত এবং মনোযোগ শুধুমাত্র নির্বাচিত ব্লক জোড়ার জন্য গণনা করা হয়, যা GPU টেনসর কোরগুলিতেও ভালভাবে ম্যাপ করে।
কি নেটিভ স্পারস অ্যাটেনশন (NSA) কে অনেক আগের স্পারস পদ্ধতি থেকে আলাদা করে তোলে?
এনএসএ প্রাক-প্রশিক্ষণের সময় এর স্পারসিটি প্যাটার্ন শিখে এবং হার্ডওয়্যারের সাথে সারিবদ্ধ করার জন্য ডিজাইন করা হয়েছে, তাই এটি দ্রুত চালানোর সময় সঠিকতা রক্ষা করে।
NSA তার কী এবং মানগুলির জন্য কোন তিনটি শাখাকে একত্রিত করে?
NSA মোটা টোকেন কম্প্রেশন, সূক্ষ্ম-দানাযুক্ত ব্লক নির্বাচন, এবং শেখা গেট ব্যবহার করে একটি স্থানীয় স্লাইডিং উইন্ডো একত্রিত করে।
কেন এনএসএ নির্বিচারে টোকেন-স্তরের স্পার্সিটির পরিবর্তে ব্লক-লেভেল অপারেশন ব্যবহার করে?
ব্লক-লেভেল অ্যাক্সেস প্যাটার্নগুলি GPU হার্ডওয়্যার অনুসারে, তাই তাত্ত্বিক FLOP সঞ্চয়গুলি প্রকৃত প্রাচীর-ঘড়ি গতিতে পরিণত হয়।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড