এআই শব্দকোষের মেয়াদ

টোকেন কী?

সংজ্ঞা

ভাষার মডেল দ্বারা প্রক্রিয়াকৃত পাঠ্যের একটি অংশ, যেমন একটি শব্দ টুকরা বা প্রতীক।

জেনারেটিভ এআইAI সিস্টেম যা নতুন সামগ্রী যেমন পাঠ্য, ছবি, অডিও, ভিডিও বা কোড তৈরি করে।বড় ভাষা মডেল (LLM)টেক্সট তৈরি এবং বিশ্লেষণ করার জন্য বিশাল টেক্সট কর্পোরার উপর প্রশিক্ষিত একটি ভাষা মডেল।মাল্টিমোডাল মডেলএকটি মডেল যা পাঠ্য, চিত্র এবং অডিওর মতো একাধিক ডেটা প্রকার প্রক্রিয়া বা তৈরি করতে পারে।বাক্যাংশএকটি ভাষা-অজ্ঞেয়বাদী টোকেনাইজার যা সাদা স্থানের পূর্বে বিভক্ত না করে সরাসরি কাঁচা পাঠ থেকে সাবওয়ার্ড ইউনিট শিখে।GSM8Kভাষা মডেলে ধাপে ধাপে যুক্তি মূল্যায়ন করতে ব্যবহৃত গ্রেড-স্কুল গণিত শব্দ সমস্যার একটি বেঞ্চমার্ক।টোকেনাইজেশনমডেল ইনপুটের জন্য টোকেনে পাঠ্য বিভক্ত করার প্রক্রিয়া।

আমাদের বিনামূল্যের গাইডে আরও জানুন

আরও দেখুন