एआई शब्दावली शब्द

टोकनीकरण क्या है?

परिभाषा

मॉडल इनपुट के लिए टेक्स्ट को टोकन में विभाजित करने की प्रक्रिया।

प्रसंग विंडोएक भाषा मॉडल एक बार में इनपुट टोकन की अधिकतम मात्रा संसाधित कर सकता है।BPE (बाइट जोड़ी एन्कोडिंग)एक सबवर्ड टोकनाइजेशन एल्गोरिदम जो सबसे अधिक बार आने वाले कैरेक्टर जोड़े को पुन: प्रयोज्य टोकन में मर्ज करता है।एनकोडरमॉडल का वह घटक जो इनपुट को अव्यक्त अभ्यावेदन में परिवर्तित करता है।मल्टीमॉडल मॉडलएक मॉडल जो टेक्स्ट, छवि और ऑडियो जैसे कई डेटा प्रकारों को संसाधित या उत्पन्न कर सकता है।ओसीआर (ऑप्टिकल कैरेक्टर रिकग्निशन)वह तकनीक जो पाठ को छवियों में परिवर्तित करती है या स्कैन करके मशीन-पठनीय पाठ में परिवर्तित करती है।वाक्य टुकड़ाएक भाषा-अज्ञेयवादी टोकननाइज़र जो रिक्त स्थान पर पूर्व-विभाजन के बिना कच्चे पाठ से सीधे सबवर्ड इकाइयों को सीखता है।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

यह भी देखें