প্রযুক্তিগত গাইড
লিনিয়ার অ্যাটেনশন এবং পারফর্মার কার্নেল
রৈখিক মনোযোগ ট্রান্সফরমারের চতুর্মুখী সফ্টম্যাক্স মনোযোগকে একটি গণিত কৌশল দিয়ে প্রতিস্থাপন করে যা ক্রম দৈর্ঘ্যের সাথে রৈখিকভাবে স্কেল করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
পারফরমার একটি ল্যান্ডমার্ক পদ্ধতি যা র্যান্ডম বৈশিষ্ট্য কার্নেল ব্যবহার করে সফটম্যাক্সকে আনুমানিক করে, যা খুব দীর্ঘ ক্রমগুলিকে গণনাগতভাবে সাশ্রয়ী করে তোলে।
গভীর ডুব
স্ট্যান্ডার্ড ট্রান্সফরমার মনোযোগ প্রতিটি জোড়া টোকেনের মধ্যে একটি স্কোর গণনা করে, সময় এবং মেমরির খরচ যা ক্রম দৈর্ঘ্যের (O(n^2)) বর্গের সাথে বৃদ্ধি পায়। রৈখিক মনোযোগ গণনা পুনর্লিখন করে তাই খরচ শুধুমাত্র রৈখিকভাবে বৃদ্ধি পায় (O(n))। মূল ধারণা: softmax মনোযোগ হল softmax(QK^T)V, কিন্তু আপনি যদি সফটম্যাক্সকে একটি কার্নেল বৈশিষ্ট্য মানচিত্র phi দিয়ে প্রতিস্থাপন করেন, তাহলে আপনি phi(Q)(phi(K)^T V) পাবেন। যেহেতু ম্যাট্রিক্স গুণনটি সহযোগী, তাই আপনি প্রথমে phi(K)^T V গণনা করেন (একটি ছোট d-by-d ম্যাট্রিক্স), সম্পূর্ণরূপে বিশাল n-by-n স্কোর ম্যাট্রিক্সকে এড়িয়ে যান। 2020 সালে Google থেকে পারফর্মার, এটিকে FAVOR+ ব্যবহার করে সত্যিকারের সফ্টম্যাক্সের একটি বিশ্বস্ত অনুমান করে তোলে (ফাস্ট অ্যাটেনশন ভিয়া ইতিবাচক অর্থোগোনাল র্যান্ডম বৈশিষ্ট্যের মাধ্যমে), এলোমেলো অনুমান অঙ্কন করে যা কার্নেলের অনুমানকে নিরপেক্ষ এবং স্থিতিশীল রাখে।
বাস্তব-বিশ্ব বাস্তবায়ন
দীর্ঘ জিনোমিক বা প্রোটিন ক্রম প্রক্রিয়াকরণ যেখানে সম্পূর্ণ চতুর্মুখী মনোযোগ GPU মেমরিকে নিঃশেষ করবে
একটি পারফর্মার-স্টাইল ব্যাকবোন ব্যবহার করে খণ্ড খণ্ড ছাড়াই খুব দীর্ঘ প্রতিবেদনের উপর নথি-স্তরের সারসংক্ষেপ
দক্ষ দীর্ঘ-ফর্মের অডিও বা টাইম-সিরিজ মডেলিং যেখানে সিকোয়েন্সগুলি কয়েক হাজার ধাপে বিস্তৃত হয়
লিনিয়ার-অ্যাটেনশন ভেরিয়েন্টের সাথে কিছু সফ্টম্যাক্স স্তর প্রতিস্থাপন করে দীর্ঘ-প্রসঙ্গ চ্যাট মডেলগুলিতে অনুমান ব্যয় হ্রাস করা
লিনিয়ার অ্যাটেনশন এবং পারফর্মার কার্নেলের ভবিষ্যত
বিশুদ্ধ রৈখিক মনোযোগ প্রায়শই গুণমানের উপর সফটম্যাক্সকে অনুসরণ করে, তাই ক্ষেত্রটি হাইব্রিডগুলিতে রূপান্তরিত হয়: স্টেট-স্পেস মডেল (মাম্বা), গেটেড লিনিয়ার অ্যাটেনশন, এবং আর্কিটেকচার যা অনেক লিনিয়ারের সাথে কয়েকটি পূর্ণ-মনোযোগ স্তর মিশ্রিত করে। যেহেতু কনটেক্সট উইন্ডোগুলি লক্ষ লক্ষ টোকেনের দিকে ঠেলে দিচ্ছে, লিনিয়ার এবং সাব-কোয়াড্র্যাটিক মেকানিজমগুলি খরচের জন্য ক্রমবর্ধমান আকর্ষণীয় হয়ে উঠছে, এবং দক্ষ স্ট্রিমিং ইনফারেন্স এবং অন-ডিভাইস মডেলগুলির জন্য পুনরাবৃত্ত-শৈলীর রৈখিক মনোযোগ পুনর্বিবেচনা করা হচ্ছে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Linear Attention and Performer Kernels quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
লিনিয়ার অ্যাটেনশন এবং পারফরমার কার্নেল কি?
রৈখিক মনোযোগ ট্রান্সফরমারের চতুর্মুখী সফ্টম্যাক্স মনোযোগকে একটি গণিত কৌশল দিয়ে প্রতিস্থাপন করে যা ক্রম দৈর্ঘ্যের সাথে রৈখিকভাবে স্কেল করে। পারফর্মার হল একটি ল্যান্ডমার্ক পদ্ধতি যা র্যান্ডম বৈশিষ্ট্য কার্নেল ব্যবহার করে সফটম্যাক্সকে আনুমানিক করে, খুব দীর্ঘ ক্রমগুলিকে গণনাগতভাবে সাশ্রয়ী করে তোলে।
কেন স্ট্যান্ডার্ড সফটম্যাক্স মনোযোগ ক্রম দৈর্ঘ্যের সাথে খারাপভাবে স্কেল করে?
Softmax মনোযোগ প্রতিটি জোড়া টোকেনের তুলনা করে, একটি n-বাই-n স্কোর ম্যাট্রিক্স তৈরি করে, তাই খরচ O(n^2) হিসাবে বৃদ্ধি পায়।
কোন গাণিতিক সম্পত্তি রৈখিক মনোযোগ n-বাই-n ম্যাট্রিক্স এড়াতে দেয়?
যেহেতু ম্যাট্রিক্স গুণনটি সহযোগী, আপনি phi(Q)phi(K)^T এর পরিবর্তে প্রথমে phi(K)^T V, একটি ছোট d-বাই-d ম্যাট্রিক্স গণনা করতে পারেন।
পারফর্মারের FAVOR+ প্রক্রিয়া আনুমানিক কি করে?
FAVOR+ সম্পূর্ণ মনোযোগ ম্যাট্রিক্স গঠন না করেই সূচকীয় সফটম্যাক্স কার্নেলের আনুমানিক অনুমান করতে ইতিবাচক অর্থোগোনাল র্যান্ডম বৈশিষ্ট্য ব্যবহার করে।
কেন পারফর্মার পূর্বের ত্রিকোণমিতিক বৈশিষ্ট্যগুলির পরিবর্তে ইতিবাচক র্যান্ডম বৈশিষ্ট্যগুলি ব্যবহার করে?
ইতিবাচক বৈশিষ্ট্যগুলি কার্নেলের অনুমানগুলিকে অ-নেতিবাচক রাখে, অস্থিরতা এবং নেতিবাচক মানগুলি এড়িয়ে যায় যা পূর্বের sin/cos বৈশিষ্ট্য মানচিত্রগুলিকে জর্জরিত করেছিল।
ক্রম দৈর্ঘ্য n এ পারফর্মার-স্টাইল রৈখিক মনোযোগের আনুমানিক জটিলতা কী?
গণনাকে পুনর্বিন্যাস করার মাধ্যমে এবং কখনই n-বাই-n ম্যাট্রিক্স তৈরি না করে, ক্রম দৈর্ঘ্যের সাথে রৈখিকভাবে খরচ স্কেল করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড