কি টোকেনাইজেশন?

সর্বাধিক পরিমাণ ইনপুট টোকেন একটি ভাষা মডেল একবারে প্রক্রিয়া করতে পারে৷

একটি সাবওয়ার্ড টোকেনাইজেশন অ্যালগরিদম যা সর্বাধিক ঘন ঘন অক্ষর জোড়াকে পুনরায় ব্যবহারযোগ্য টোকেনে একত্রিত করে।

একটি মডেলের উপাদান যা ইনপুটকে সুপ্ত উপস্থাপনায় রূপান্তরিত করে।

একটি মডেল যা পাঠ্য, চিত্র এবং অডিওর মতো একাধিক ডেটা প্রকার প্রক্রিয়া বা তৈরি করতে পারে।

প্রযুক্তি যা চিত্রের পাঠ্যকে রূপান্তর করে বা স্ক্যান করে মেশিন-পাঠযোগ্য পাঠ্যে।

একটি ভাষা-অজ্ঞেয়বাদী টোকেনাইজার যা সাদা স্থানের পূর্বে বিভক্ত না করে সরাসরি কাঁচা পাঠ থেকে সাবওয়ার্ড ইউনিট শিখে।