फ्लैशअटेंशन
फ्लैशअटेंशन एक मेमोरी-कुशल एल्गोरिदम है जो मानक ट्रांसफार्मर के समान सटीक ध्यान की गणना करता है लेकिन जीपीयू मेमोरी को धीमा करने के लिए विशाल ध्यान मैट्रिक्स लिखे बिना।
सिंहावलोकन
It made long-context training and inference dramatically faster and cheaper.
गहरा गोता
मानक ध्यान प्रत्येक जोड़ी टोकन के लिए एक अंक की गणना करता है, जो एन-बाय-एन मैट्रिक्स का निर्माण करता है। 4,000-टोकन अनुक्रम के लिए यह 16 मिलियन स्कोर है, और मैट्रिक्स को GPU की उच्च-बैंडविड्थ मेमोरी (HBM) से लिखा और पढ़ा जाना चाहिए। वह मेमोरी ट्रैफ़िक, गणित नहीं, असली बाधा है। 2022 में ट्राई डाओ और सहकर्मियों द्वारा पेश किया गया फ्लैशअटेंशन, गणना को पुनर्गठित करता है ताकि मैट्रिक्स कभी भी पूरी तरह से भौतिक न हो। यह उन टाइलों में अनुक्रम को संसाधित करता है जो GPU के छोटे, अल्ट्रा-फास्ट ऑन-चिप SRAM में फिट होते हैं, जैसे-जैसे यह आगे बढ़ता है, सॉफ्टमैक्स की गणना करता है। परिणाम गणितीय रूप से मानक ध्यान के समान है, लेकिन बहुत कम मेमोरी का उपयोग करता है और कई गुना तेजी से चलता है, जिससे अधिक लंबी संदर्भ विंडो सक्षम होती है।
तकनीकी अंतर्दृष्टि
चाल टाइलिंग के साथ संयुक्त 'ऑनलाइन सॉफ्टमैक्स' है। फ्लैशअटेंशन प्रश्नों, कुंजियों और मानों के छोटे ब्लॉकों को एसआरएएम में लोड करता है, आंशिक ध्यान आउटपुट की गणना करता है, और नए ब्लॉक आने पर चल रहे योगों को पुन: मापता है ताकि सॉफ्टमैक्स सामान्यीकरण एक ही बार में सभी स्कोर देखे बिना सही रहे। क्योंकि यह एचबीएम में पूर्ण एन-बाय-एन मैट्रिक्स को कभी भी संग्रहीत नहीं करता है, मेमोरी स्केल चतुर्भुज के बजाय रैखिक रूप से होती है, और धीमी मेमोरी पढ़ने और लिखने को कम करने के लिए कर्नेल को एकल जीपीयू ऑपरेशन में फ़्यूज़ किया जाता है।
सामरिक प्रभाव
गति और पैमाना
भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
पहुंच और पहुंच
यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
स्पष्ट निर्णय
टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
फ्लैशअटेंशन का भविष्य
फ़्लैशअटेंशन एक डिफ़ॉल्ट बिल्डिंग ब्लॉक बन गया है। फ्लैशअटेंशन-2 ने जीपीयू कार्य विभाजन में सुधार किया है, और फ्लैशअटेंशन-3 एसिंक्रोनी और कम-परिशुद्धता एफपी8 जैसी नई हॉपर हार्डवेयर सुविधाओं का फायदा उठाता है। चिप्स के साथ निरंतर सह-डिज़ाइन, लंबे दस्तावेज़ों के लिए अनुमान सर्वर में गहन एकीकरण और विरल या स्लाइडिंग-विंडो ध्यान के लिए ट्यून किए गए वेरिएंट की अपेक्षा करें। जैसे-जैसे संदर्भ विंडो लाखों टोकन की ओर बढ़ती है, प्रशिक्षण और सेवा लागत को प्रबंधनीय बनाए रखने के लिए इस तरह के आईओ-जागरूक कर्नेल आवश्यक बने रहते हैं।
वास्तविक विश्व कार्यान्वयन
लामा और जीपीटी-शैली प्रणालियों जैसे बड़े भाषा मॉडलों को तेजी से और कम जीपीयू लागत पर प्रशिक्षण देना
लंबे-संदर्भ वाले चैट सहायकों की सेवा करना जो स्मृति से बाहर हुए बिना संपूर्ण पुस्तकों या कोडबेस को समाहित कर लेते हैं
दस्तावेज़-सारांशीकरण पाइपलाइनों को तेज़ करना जो एक साथ हजारों टोकन संसाधित करती हैं
सशक्त दृष्टि और मल्टीमॉडल ट्रांसफार्मर जहां छवि पैच के लंबे अनुक्रम ध्यान आकर्षित करते हैं
जोखिम और रेलिंग
मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
कार्यान्वयन रोडमैप
रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the FlashAttention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
रोटरी स्थिति एंबेडिंग
अक्सर पूछे जाने वाले प्रश्नों
What is FlashAttention?
फ्लैशअटेंशन एक मेमोरी-कुशल एल्गोरिदम है जो मानक ट्रांसफार्मर के समान सटीक ध्यान की गणना करता है लेकिन जीपीयू मेमोरी को धीमा करने के लिए विशाल ध्यान मैट्रिक्स लिखे बिना। इसने लंबे-संदर्भ प्रशिक्षण और अनुमान को नाटकीय रूप से तेज़ और सस्ता बना दिया।
मानक ध्यान में मुख्य बाधा फ़्लैशअटेंशन लक्ष्य क्या है?
मानक ध्यान मेमोरी-बाउंड है: उच्च-बैंडविड्थ मेमोरी से विशाल एन-बाय-एन मैट्रिक्स को बंद करना समय पर हावी होता है, न कि अंकगणित पर।
फ्लैशअटेंशन का आउटपुट मानक ध्यान से तुलना कैसे करता है?
फ्लैशअटेंशन ठीक उसी ध्यान मान की गणना करता है; यह पूर्ण मैट्रिक्स को अमल में लाने से बचने के लिए गणना को पुनर्गठित करता है।
टाइल्स में डेटा प्रोसेस करके फ्लैशअटेंशन किस जीपीयू मेमोरी का उपयोग करता है?
फ्लैशअटेंशन छोटी टाइलों को जीपीयू के तेज ऑन-चिप एसआरएएम में लोड करता है, जिससे भारी काम को कंप्यूट इकाइयों के करीब रखा जाता है।
कौन सी तकनीक फ्लैशअटेंशन को सभी स्कोर एक साथ देखे बिना सॉफ्टमैक्स की गणना करने देती है?
एक ऑनलाइन सॉफ्टमैक्स रनिंग मैक्सिमम और सम्स को बनाए रखता है, नई टाइल्स आने पर आंशिक परिणामों को फिर से स्केल करता है ताकि अंतिम सामान्यीकरण सही हो।
फ़्लैशअटेंशन-3 ने विशेष रूप से किसका लाभ उठाया?
फ्लैशअटेंशन-3 को आधुनिक हॉपर जीपीयू के साथ सह-डिज़ाइन किया गया था, जिसमें आगे के स्पीडअप के लिए एसिंक्रोनस निष्पादन और कम-परिशुद्धता एफपी8 का उपयोग किया गया था।