सेंटेंसपीस टोकनाइजेशन

It made multilingual models far easier to build by treating any language the same way.

अधिकांश टोकनाइज़र मानते हैं कि शब्दों को रिक्त स्थान से अलग किया गया है, जो जापानी, चीनी या थाई जैसी भाषाओं के लिए टूट जाता है जो उनका उपयोग नहीं करते हैं। 2018 में Google द्वारा जारी सेंटेंसपीस, इनपुट को वर्णों की एक कच्ची धारा के रूप में मानकर - रिक्त स्थान शामिल करके - और डेटा से ही सबवर्ड इकाइयों की शब्दावली सीखकर इसे दरकिनार कर देता है। यह प्रसिद्ध रूप से रिक्त स्थान को एक दृश्यमान मार्कर (अंडरस्कोर-जैसा मेटा प्रतीक) से बदल देता है, इसलिए टोकननाइजेशन पूरी तरह से प्रतिवर्ती है: आप हमेशा सटीक मूल पाठ का पुनर्निर्माण कर सकते हैं। सेंटेंसपीस दो मुख्य एल्गोरिदम, बाइट-पेयर एन्कोडिंग (बीपीई) और यूनिग्राम भाषा मॉडल का समर्थन करता है, बाद वाला इसकी हस्ताक्षर विधि है। क्योंकि इसे किसी भाषा-विशिष्ट पूर्व-टोकनीकरण की आवश्यकता नहीं है, एक ही पाइपलाइन सैकड़ों भाषाओं में काम करती है, यही कारण है कि T5, ALBERT जैसे मॉडल और कई बहुभाषी सिस्टम इस पर भरोसा करते हैं।