सीखें समाचार टूल्स नौकरियां मिशन

एआई शब्दावली शब्द

स्लाइडिंग विंडो ध्यान क्या है?

परिभाषा

एक ध्यान पैटर्न जहां प्रत्येक टोकन गणना को कम करने के लिए केवल पास के टोकन की एक निश्चित आकार की विंडो पर ध्यान केंद्रित करता है।

संपूर्ण AI शब्दावली ब्राउज़ करें सभी निःशुल्क एआई गाइडों का अन्वेषण करें

छँटाईआकार और गणना को कम करने के लिए कम महत्वपूर्ण मॉडल वज़न या न्यूरॉन्स को हटाना।उपयोग-आधारित बिलिंगमूल्य निर्धारण जहां लागत एपीआई कॉल, टोकन, अनुमान समय या उपभोग गणना के साथ मापी जाती है।स्केलिंग कानूनएक अनुभवजन्य संबंध जो दर्शाता है कि मॉडल आकार, डेटा या गणना के साथ प्रदर्शन में कैसे सुधार होता है।विरल मॉडलएक मॉडल जहां गणना को कम करने के लिए कई पैरामीटर शून्य या निष्क्रिय हैं।सट्टा डिकोडिंगएक अनुमान त्वरण विधि जहां एक छोटा ड्राफ्ट मॉडल टोकन प्रस्तावित करता है जिसे एक बड़ा मॉडल समानांतर में सत्यापित करता है।प्रसंग विंडोएक भाषा मॉडल एक बार में इनपुट टोकन की अधिकतम मात्रा संसाधित कर सकता है।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

यह भी देखें

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW