এআই শব্দকোষের মেয়াদ

টোকেনাইজেশন কী?

সংজ্ঞা

মডেল ইনপুটের জন্য টোকেনে পাঠ্য বিভক্ত করার প্রক্রিয়া।

প্রসঙ্গ উইন্ডোসর্বাধিক পরিমাণ ইনপুট টোকেন একটি ভাষা মডেল একবারে প্রক্রিয়া করতে পারে৷BPE (বাইট পেয়ার এনকোডিং)একটি সাবওয়ার্ড টোকেনাইজেশন অ্যালগরিদম যা সর্বাধিক ঘন ঘন অক্ষর জোড়াকে পুনরায় ব্যবহারযোগ্য টোকেনে একত্রিত করে।এনকোডারএকটি মডেলের উপাদান যা ইনপুটকে সুপ্ত উপস্থাপনায় রূপান্তরিত করে।মাল্টিমোডাল মডেলএকটি মডেল যা পাঠ্য, চিত্র এবং অডিওর মতো একাধিক ডেটা প্রকার প্রক্রিয়া বা তৈরি করতে পারে।OCR (অপটিক্যাল ক্যারেক্টার রিকগনিশন)প্রযুক্তি যা চিত্রের পাঠ্যকে রূপান্তর করে বা স্ক্যান করে মেশিন-পাঠযোগ্য পাঠ্যে।বাক্যাংশএকটি ভাষা-অজ্ঞেয়বাদী টোকেনাইজার যা সাদা স্থানের পূর্বে বিভক্ত না করে সরাসরি কাঁচা পাঠ থেকে সাবওয়ার্ড ইউনিট শিখে।

আমাদের বিনামূল্যের গাইডে আরও জানুন

আরও দেখুন