टोकनाइजेशन और बाइट जोड़ी एन्कोडिंग

टोकनाइजेशन पाठ को उन छोटी इकाइयों में विभाजित करता है जिन्हें एक भाषा मॉडल वास्तव में पढ़ता है, और बाइट जोड़ी एन्कोडिंग (बीपीई) उस शब्दावली के निर्माण के लिए लोकप्रिय तरीका है। यह मॉडल के सामने आने वाले किसी भी शब्द को संभालने के विरुद्ध प्रबंधनीय शब्दावली को संतुलित करता है।

मॉडल कच्चे पाठ स्ट्रिंग के बजाय टोकन - पूर्णांक आईडी पर काम करते हैं जो वर्ण, उपशब्द या शब्दों के लिए होते हैं।

बीपीई वर्णों या बाइट्स से शुरू होता है और लालच से सबसे लगातार आसन्न जोड़े को विलय कर देता है, धीरे-धीरे सामान्य सबवर्ड टोकन बनाता है।

अनदेखे शब्दों पर शब्द-स्तरीय शब्दावलियाँ विफल हो जाती हैं; सबवर्ड टोकनाइजेशन दुर्लभ शब्दों को ज्ञात टुकड़ों में तोड़ देता है, शब्दावली को प्रबंधनीय रखते हुए शब्दावली से बाहर की समस्याओं से बचाता है।

कच्चे बाइट्स पर संचालन का मतलब है कि हर संभव इनपुट को एनकोड किया जा सकता है, इसलिए भाषा या प्रतीक की परवाह किए बिना वास्तव में कोई अज्ञात अक्षर नहीं हैं।

सबवर्ड टोकनाइजेशन एक शब्द को कई टुकड़ों में तोड़ सकता है और रिक्ति और मामले के प्रति संवेदनशील है, इसलिए टोकन की गिनती शायद ही कभी शब्द गणना के बराबर होती है।