एआई शब्दावली शब्द

स्लाइडिंग विंडो ध्यान क्या है?

परिभाषा

एक ध्यान पैटर्न जहां प्रत्येक टोकन गणना को कम करने के लिए केवल पास के टोकन की एक निश्चित आकार की विंडो पर ध्यान केंद्रित करता है।

संबंधित शर्तें

छँटाई
आकार और गणना को कम करने के लिए कम महत्वपूर्ण मॉडल वज़न या न्यूरॉन्स को हटाना।
उपयोग-आधारित बिलिंग
मूल्य निर्धारण जहां लागत एपीआई कॉल, टोकन, अनुमान समय या उपभोग गणना के साथ मापी जाती है।
स्केलिंग कानून
एक अनुभवजन्य संबंध जो दर्शाता है कि मॉडल आकार, डेटा या गणना के साथ प्रदर्शन में कैसे सुधार होता है।
विरल मॉडल
एक मॉडल जहां गणना को कम करने के लिए कई पैरामीटर शून्य या निष्क्रिय हैं।
सट्टा डिकोडिंग
एक अनुमान त्वरण विधि जहां एक छोटा ड्राफ्ट मॉडल टोकन प्रस्तावित करता है जिसे एक बड़ा मॉडल समानांतर में सत्यापित करता है।
प्रसंग विंडो
एक भाषा मॉडल एक बार में इनपुट टोकन की अधिकतम मात्रा संसाधित कर सकता है।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

यह भी देखें

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
संपूर्ण AI शब्दावली ब्राउज़ करेंसभी निःशुल्क एआई गाइडों का अन्वेषण करें