পরবর্তী আপপরবর্তী গাইড
মনোযোগ রোলআউট এবং মাথা ছাঁটাই
টেকনিক্যাল
প্রযুক্তিগত গাইড
ফ্ল্যাশ মনোযোগ
FlashAttention হল উচ্চ-ব্যান্ডউইথ মেমরিতে সম্পূর্ণ মনোযোগ ম্যাট্রিক্সকে বাস্তবায়িত না করে সঠিক মনোযোগ গণনা করার একটি IO-সচেতন উপায়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটি মেমরি ট্র্যাফিক কমাতে টাইলিং এবং অনলাইন সফটম্যাক্স ব্যবহার করে; গতি এবং মেমরি লাভ ক্রম দৈর্ঘ্য, হার্ডওয়্যার এবং বাস্তবায়নের উপর নির্ভর করে।
গভীর ডুব
স্ট্যান্ডার্ড মনোযোগ প্রতিটি টোকেনকে অন্য টোকেনের সাথে তুলনা করে, একটি N-বাই-N স্কোর ম্যাট্রিক্স তৈরি করে যা ক্রম দৈর্ঘ্যের সাথে চতুর্মুখীভাবে বৃদ্ধি পায়। সহজভাবে, সেই ম্যাট্রিক্সটি GPU হাই-ব্যান্ডউইথ মেমরি (HBM) থেকে লেখা এবং পড়া হয়েছে, এবং সেই শাটলিং - গুণন নয় - আসল বাধা। 2022 সালে ট্রাই ডাও এবং সহকর্মীদের দ্বারা প্রবর্তিত ফ্ল্যাশ অ্যাটেনশন, গণনাকে পুনর্গঠন করে যাতে ম্যাট্রিক্স কখনই সম্পূর্ণরূপে সংরক্ষিত না হয়। এটি ছোট টাইলগুলিতে প্রশ্ন, কী এবং মানগুলি প্রক্রিয়া করে যা দ্রুত অন-চিপ এসআরএএম-এ ফিট করে, আংশিক ফলাফল গণনা করে এবং একটি অনলাইন রানিং-সফ্টম্যাক্স ট্রিক ব্যবহার করে সেগুলিকে একসাথে সেলাই করে৷ উচ্চ-ব্যান্ডউইথ-মেমরি ট্র্যাফিক এবং মধ্যবর্তী সঞ্চয়স্থান হ্রাস করার সময় অ্যালগরিদম একই মনোযোগের ক্রিয়াকলাপ গণনা করে। এটি দ্রুত হতে পারে, বিশেষ করে দীর্ঘ ক্রমগুলিতে, তবে পরিমাপকৃত লাভগুলি GPU, অনুক্রমের দৈর্ঘ্য, dtype এবং বাস্তবায়নের উপর নির্ভর করে।
বাস্তব-বিশ্ব বাস্তবায়ন
কম মেমরি খরচে দীর্ঘ প্রসঙ্গ উইন্ডো সহ লামা এবং GPT-শ্রেণীর সিস্টেমের মতো বড় ভাষা মডেলের প্রশিক্ষণ দেওয়া।
প্রিফিল স্টেজে দ্রুত গতি বাড়িয়ে চ্যাট অ্যাসিস্ট্যান্টদের পরিবেশন করা হচ্ছে যেখানে প্রথমে একটি দীর্ঘ প্রম্পট পড়া হয়।
নথি-বিশ্লেষণের সরঞ্জামগুলিকে সক্ষম করা যা একটি একক GPU-তে দীর্ঘ-ক্রমের মনোযোগকে সম্ভাব্য করে পুরো বই বা কোডবেসগুলিকে গ্রাস করে।
পাওয়ারিং ভিশন এবং অডিও ট্রান্সফরমার যেখানে উচ্চ-রেজোলিউশন ইনপুটগুলি খুব দীর্ঘ টোকেন সিকোয়েন্স তৈরি করে।
ফ্ল্যাশ মনোযোগ ভবিষ্যত
FlashAttention-2 এবং FlashAttention-3 গবেষণা উন্নত কাজের পার্টিশন, অ্যাসিঙ্ক্রোনাস এক্সিকিউশন, এবং হার্ডওয়্যার-নির্দিষ্ট নিম্ন-নির্ভুল পথের সন্ধান করে। ফলাফল GPU, অনুক্রমের দৈর্ঘ্য, dtype এবং বাস্তবায়নের উপর নির্ভর করে। এই অ্যালগরিদমগুলি ঘন মনোযোগের জন্য মেমরির ট্র্যাফিক কমাতে পারে, কিন্তু তারা অন্তর্নিহিত ক্যোয়ারী-কী জোড়া গণনাগুলিকে সরিয়ে দেয় না। স্পিডআপ ধরে নেওয়ার আগে সঠিক প্রশিক্ষণ বা পরিবেশন কাজের চাপ বেঞ্চমার্ক করুন।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Flash Attention quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
ফ্ল্যাশ মনোযোগ কি?
FlashAttention হল উচ্চ-ব্যান্ডউইথ মেমরিতে সম্পূর্ণ মনোযোগ ম্যাট্রিক্সকে বাস্তবায়িত না করে সঠিক মনোযোগ গণনা করার একটি IO-সচেতন উপায়। এটি মেমরি ট্র্যাফিক কমাতে টাইলিং এবং অনলাইন সফটম্যাক্স ব্যবহার করে; গতি এবং মেমরি লাভ ক্রম দৈর্ঘ্য, হার্ডওয়্যার এবং বাস্তবায়নের উপর নির্ভর করে।
ফ্ল্যাশ মনোযোগ লক্ষ্য করে প্রধান বাধা কি?
ফ্ল্যাশ মনোযোগ আইও-সচেতন: এটি দ্রুত অন-চিপ এসআরএএম এবং ধীর উচ্চ-ব্যান্ডউইথ মেমরির মধ্যে শাটল করা ডেটা হ্রাস করে, যা গাণিতিকের চেয়ে আসল বাধা।
ফ্ল্যাশ অ্যাটেনশন কীভাবে সম্পূর্ণ এন-বাই-এন মনোযোগ ম্যাট্রিক্স সংরক্ষণ করা এড়ায়?
এটি কম্পিউটেশনকে টাইলস করে যাতে প্রতিটি ব্লক দ্রুত SRAM-এ ফিট করে, HBM-এ সম্পূর্ণ ম্যাট্রিক্সকে বাস্তবায়িত না করেই আংশিক আউটপুট কম্পিউটিং এবং জমা করে।
কোন কৌশলটি ফ্ল্যাশ অ্যাটেনশনকে একবারে পুরো সারিটি না দেখে সফটম্যাক্সকে সঠিকভাবে গণনা করতে দেয়?
অনলাইন সফটম্যাক্স টাইলস স্ট্রিম করার সময় একটি চলমান সর্বাধিক এবং চলমান ডিনোমিনেটর রাখে, আগের আংশিক আউটপুটগুলিকে পুনরায় স্কেলিং করে যাতে চূড়ান্ত স্বাভাবিককরণ সঠিক হয়।
কেন ফ্ল্যাশ মনোযোগ দীর্ঘ ক্রম সঙ্গে সবচেয়ে সাহায্য করে?
নিষ্পাপ মনোযোগের ম্যাট্রিক্স মেমরিতে এন-স্কোয়ার্ড হিসাবে স্কেল করে, তাই এটির সম্পূর্ণ সঞ্চয়স্থান এড়িয়ে গেলে ক্রমগুলি দীর্ঘ হলেই সবচেয়ে বড় সঞ্চয় পাওয়া যায়।
ফ্ল্যাশ অ্যাটেনশনের 'আইও-সচেতন' ডিজাইনটি কী কমানোর অগ্রাধিকার দেয়?
আইও-সচেতন মানে অ্যালগরিদমটি মেমরি শ্রেণিবিন্যাসে ডেটা স্থানান্তরিত করার খরচকে ঘিরে ডিজাইন করা হয়েছে, গাণিতিক ক্রিয়াকলাপের পরিবর্তে HBM ট্র্যাফিক কমিয়েছে৷
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড