স্লাইডিং উইন্ডো মনোযোগ
স্লাইডিং উইন্ডো মনোযোগ প্রতিটি টোকেনকে সম্পূর্ণ সিকোয়েন্সের পরিবর্তে কাছাকাছি টোকেনগুলির একটি নির্দিষ্ট-আকারের আশেপাশে উপস্থিত হতে সীমাবদ্ধ করে।
ওভারভিউ
This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.
গভীর ডুব
স্ট্যান্ডার্ড স্ব-মনোযোগ প্রতিটি টোকেনকে অন্য প্রতিটি টোকেনের সাথে তুলনা করে, তাই দৈর্ঘ্যের একটি অনুক্রমের জন্য মোটামুটি N-বর্গীয় তুলনা প্রয়োজন। স্লাইডিং উইন্ডো অ্যাটেনশন প্রতিটি টোকেনকে W আকারের একটি উইন্ডো (বলুন 4,096 টোকেন) দিয়ে এবং শুধুমাত্র সেই উইন্ডোর ভিতরের প্রতিবেশীদের সাথে যোগাযোগ করে এটি ঠিক করে। খরচ N-বর্গের পরিবর্তে N বার W হিসাবে বৃদ্ধি পায়। গুরুত্বপূর্ণভাবে, অনেকগুলি উইন্ডোযুক্ত স্তরগুলিকে স্ট্যাক করা কার্যকরী গ্রহণযোগ্য ক্ষেত্রকে প্রসারিত করে: L স্তরগুলির পরে, তথ্য প্রায় L বার W টোকেন জুড়ে প্রচার করতে পারে, যেমন একটি CNN-এর ক্রমবর্ধমান গ্রহণযোগ্য ক্ষেত্র। Mistral 7B এটিকে 32টি স্তর জুড়ে একটি 4,096-টোকেন উইন্ডো দিয়ে জনপ্রিয় করেছে, একটি তাত্ত্বিক 131K-টোকেন স্প্যানে পৌঁছেছে। মডেলগুলি প্রায়শই দীর্ঘ-সীমার লিঙ্কগুলি সংরক্ষণ করতে মাঝে মাঝে পূর্ণ-মনোযোগ স্তরগুলির সাথে উইন্ডোযুক্ত স্তরগুলিকে মিশ্রিত করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
অ্যাটেনশন মাস্কে, i পজিশনে একটি ক্যোয়ারী শুধুমাত্র i (কারণগত ক্ষেত্রে) থেকে বিয়োগ W প্লাস 1 পজিশন থেকে কী দেখতে পাবে। এই স্পার্স মাস্ক মানে KV ক্যাশে শুধুমাত্র প্রতি স্তরের শেষ W টোকেন প্রয়োজন, প্রজন্মের সময় মেমরি কমানো। যেহেতু উইন্ডোটি প্রতিটি নতুন টোকেনের সাথে স্থানান্তরিত হয়, এটি স্বাভাবিকভাবেই একটি ঘূর্ণায়মান বাফার ক্যাশের সাথে যুক্ত হয় যা চিরকালের জন্য বৃদ্ধি না করে সবচেয়ে পুরানো এন্ট্রিগুলিকে ওভাররাইট করে।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
স্লাইডিং উইন্ডো মনোযোগ ভবিষ্যত
হাইব্রিড ডিজাইন এখন অনেক স্লাইডিং-উইন্ডো লেয়ারের মধ্যে কয়েকটি গ্লোবাল বা পূর্ণ-মনোযোগের স্তরকে আন্তঃস্থ করে, সত্যিকারের দীর্ঘ-পরিসরের যুক্তির সাথে দক্ষতার ভারসাম্য বজায় রাখে। Gemma 2 এবং অন্যান্য বিকল্প স্থানীয় এবং বৈশ্বিক ব্লক। স্টেট-স্পেস মডেল, অ্যাটেনশন সিঙ্ক, এবং কেভি-ক্যাশে কম্প্রেশনের সাথে একত্রিত হওয়ার জন্য উইন্ডোর মনোযোগ আশা করুন যাতে ফ্রন্টিয়ার মডেলগুলি রনঅ্যাওয়ে মেমরি ছাড়াই মিলিয়ন-টোকেন প্রসঙ্গগুলি পরিচালনা করে। এটি একটি বহিরাগত অপ্টিমাইজেশনের পরিবর্তে একটি ডিফল্ট বিল্ডিং ব্লক হয়ে উঠছে।
বাস্তব-বিশ্ব বাস্তবায়ন
Mistral 7B ভোক্তা GPU-তে সস্তায় দীর্ঘ প্রম্পট পরিচালনা করতে তার স্তর জুড়ে একটি 4,096-টোকেন স্লাইডিং উইন্ডো ব্যবহার করে।
লংফর্মার বহু-পৃষ্ঠার নথিগুলিকে শ্রেণীবদ্ধ করতে এবং সংক্ষিপ্ত করতে উইন্ডোযুক্ত মনোযোগ এবং কয়েকটি গ্লোবাল টোকেন প্রয়োগ করে।
Gemma 2 গতি এবং দীর্ঘ-পরিসীমা প্রত্যাহার ভারসাম্যের জন্য বিশ্বব্যাপী মনোযোগ স্তর সহ স্থানীয় স্লাইডিং-উইন্ডো স্তরগুলিকে বিকল্প করে।
চ্যাট অ্যাসিস্ট্যান্টগুলিতে রোলিং-বাফার কেভি ক্যাশগুলি দীর্ঘ কথোপকথনের সময় টোকেনগুলির শুধুমাত্র সাম্প্রতিকতম উইন্ডো রাখে, মেমরি ক্যাপ করে।
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
দলবদ্ধ-কোয়েরি মনোযোগ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Sliding Window Attention?
স্লাইডিং উইন্ডো মনোযোগ প্রতিটি টোকেনকে সম্পূর্ণ সিকোয়েন্সের পরিবর্তে কাছাকাছি টোকেনগুলির একটি নির্দিষ্ট-আকারের আশেপাশে উপস্থিত হতে সীমাবদ্ধ করে। এটি স্ট্যান্ডার্ড মনোযোগের চতুর্মুখী খরচকে রৈখিক পর্যন্ত কমিয়ে দেয়, দীর্ঘ-প্রসঙ্গ মডেলগুলি চালানোর জন্য অনেক সস্তা করে তোলে।
স্ট্যান্ডার্ড স্ব-মনোযোগের উপর স্লাইডিং উইন্ডো মনোযোগের প্রধান গণনামূলক সুবিধা কী?
প্রতিটি টোকেনকে W প্রতিবেশীদের একটি নির্দিষ্ট উইন্ডোতে সীমাবদ্ধ করে, খরচ N-বর্গক্ষেত্রের পরিবর্তে N গুণ W (N-এ লিনিয়ার) হিসাবে বৃদ্ধি পায়।
Mistral 7B এর ডিজাইনে, কিভাবে তথ্য এখনও একটি একক 4,096-টোকেন উইন্ডোর বাইরে যেতে পারে?
CNN-এর মতো, প্রতিটি স্তর তথ্যকে আরও একটি উইন্ডোতে ঠেলে দেয়, তাই L স্তরগুলি মোটামুটি L বার W টোকেনের কার্যকর স্প্যান দেয়।
কেন টেক্সট জেনারেশনের সময় স্লাইডিং উইন্ডো মনোযোগ মেমরি হ্রাস করে?
যেহেতু একটি টোকেন শুধুমাত্র তার সাম্প্রতিক উইন্ডোতে উপস্থিত থাকে, তাই পুরোনো কী/মান এন্ট্রি বাতিল করা যেতে পারে, প্রায়ই একটি রোলিং বাফার ক্যাশের মাধ্যমে।
Gemma 2 এর মতো মডেলগুলি দীর্ঘ-পরিসরের যুক্তি বজায় রাখতে স্লাইডিং উইন্ডোর পাশাপাশি কোন ডিজাইন পছন্দ করে?
স্থানীয়দের মধ্যে মাঝে মাঝে গ্লোবাল/ফুল-অ্যাটেনশন লেয়ারগুলি মিশ্রিত করা সত্যিকারের দূর-দূরত্বের সংযোগগুলিকে রক্ষা করে যা বিশুদ্ধ উইন্ডো দুর্বল হয়ে যায়।
W আকারের একটি কার্যকারণ স্লাইডিং উইন্ডোর জন্য, আমি যে অবস্থানে উপস্থিত থাকব সেখানে কোন কীগুলি জিজ্ঞাসা করতে পারে?
কার্যকারণ ক্ষেত্রে ক্যোয়ারীটি নিজেই দেখতে পায় এবং এর ঠিক আগে W বিয়োগ 1 টোকেন দেখা যায়, ভবিষ্যতে টোকেন নয়।