एआई शब्दावली शब्द

फ़्लैश ध्यान क्या है?

परिभाषा

एक अनुकूलित ध्यान एल्गोरिथ्म जो मेमोरी उपयोग को कम करता है और ट्रांसफार्मर प्रशिक्षण और अनुमान को गति देता है।

संपूर्ण AI शब्दावली ब्राउज़ करेंसभी निःशुल्क एआई गाइडों का अन्वेषण करें

संबंधित शर्तें

फ़ीचर स्टोरप्रशिक्षण और अनुमान के लिए मान्य एमएल सुविधाओं को लगातार संग्रहीत करने और परोसने के लिए एक प्रबंधित प्रणाली।पश्चप्रचारमुख्य प्रशिक्षण एल्गोरिदम जो नेटवर्क के माध्यम से भविष्यवाणी त्रुटियों को पीछे की ओर प्रचारित करके मॉडल भार को अद्यतन करता है।मॉडल परिमाणीकरणस्मृति और अनुमान लागत को कम करने के लिए मॉडल भार की संख्यात्मक सटीकता को कम करना।ट्रांसफार्मरएक तंत्रिका वास्तुकला जो समानांतर अनुक्रमों में मॉडल संबंधों पर ध्यान का उपयोग करती है।प्रशिक्षण हानिप्रशिक्षण के दौरान मॉडल त्रुटि मान की गणना की गई और समय के साथ इसे नीचे की ओर अनुकूलित किया गया।बहु-प्रमुख ध्यानएक ट्रांसफार्मर तंत्र जो विभिन्न प्रकार के रिश्तों को पकड़ने के लिए समानांतर में कई ध्यान संचालन चलाता है।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

यह भी देखें

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop