सीखें समाचार टूल्स नौकरियां मिशन

एआई शब्दावली शब्द

BPE (बाइट जोड़ी एन्कोडिंग) क्या है?

परिभाषा

एक सबवर्ड टोकनाइजेशन एल्गोरिदम जो सबसे अधिक बार आने वाले कैरेक्टर जोड़े को पुन: प्रयोज्य टोकन में मर्ज करता है।

संपूर्ण AI शब्दावली ब्राउज़ करें सभी निःशुल्क एआई गाइडों का अन्वेषण करें

टोकनीकरणमॉडल इनपुट के लिए टेक्स्ट को टोकन में विभाजित करने की प्रक्रिया।ओसीआर (ऑप्टिकल कैरेक्टर रिकग्निशन)वह तकनीक जो पाठ को छवियों में परिवर्तित करती है या स्कैन करके मशीन-पठनीय पाठ में परिवर्तित करती है।टॉप-के नमूनाकरणएक डिकोडिंग रणनीति जो केवल k के सबसे संभावित अगले टोकन से नमूने लेती है।पश्चप्रचारमुख्य प्रशिक्षण एल्गोरिदम जो नेटवर्क के माध्यम से भविष्यवाणी त्रुटियों को पीछे की ओर प्रचारित करके मॉडल भार को अद्यतन करता है।द्वि-एनकोडरएक मॉडल जो प्रश्नों और दस्तावेज़ों को अलग-अलग वैक्टर में एन्कोड करता है ताकि उनकी तुलना बड़े पैमाने पर जल्दी से की जा सके।किरण खोजएक डिकोडिंग एल्गोरिदम जो उच्च-संभाव्यता आउटपुट खोजने के लिए प्रत्येक चरण पर शीर्ष कई उम्मीदवार अनुक्रम रखता है।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

ByteDance Doubao CycleGAN Unpaired Translation Tokenizer-Free Byte-Level Models Instant-NGP Hash Encoding

यह भी देखें

Sliding Window Attention SentencePiece ALiBi ANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSW Positional Encoding Reranker