ভাষা জুড়ে টোকেনাইজেশন বৈষম্য

একটি টোকেনাইজার একটি প্রশিক্ষণ কর্পাস অধ্যয়ন করে পাঠ্যের কোন অংশগুলিকে একক টোকেন হিসাবে বিবেচনা করতে হবে তা শিখে। সাধারণ স্ট্রিং তাদের নিজস্ব টোকেন পায়; বিরল স্ট্রিংগুলিকে ছোট ছোট টুকরোতে বিভক্ত করা হয়, কখনও কখনও পৃথক বাইট পর্যন্ত। যখন সেই কর্পাসটি ইংরেজি এবং কয়েকটি উচ্চ-সম্পদ ভাষার দ্বারা প্রাধান্য পায়, তখন সেই ভাষাগুলি সম্পূর্ণ শব্দ এবং সাধারণ শব্দ অংশগুলির জন্য দক্ষ টোকেন পায়। যে ভাষাগুলি প্রায়ই কম দেখা যায়, অথবা যেগুলি স্ক্রিপ্ট ব্যবহার করে যেখানে প্রতিটি অক্ষর UTF-8 এনকোডিং-এ বেশ কয়েকটি বাইট নেয়, যেমন অনেক দক্ষিণ এশীয়, দক্ষিণ-পূর্ব এশীয় এবং আফ্রিকান স্ক্রিপ্ট, আরও অনেক টুকরোতে বিভক্ত হয়ে যায়। প্রভাব পরিমাপযোগ্য। 2023 সালে প্রকাশিত গবেষণা, যার মধ্যে পেট্রোভ এবং সহকর্মীদের দ্বারা টোকেনাইজারের অন্যায় কাজ করা হয়েছে, দেখা গেছে যে একই পাঠ্যের অনুবাদের জন্য ইংরেজির তুলনায় কিছু ভাষায় কয়েকগুণ বেশি টোকেনের প্রয়োজন হতে পারে, যেখানে নির্দিষ্ট ভাষা এবং টোকেনাইজারদের জন্য সবচেয়ে বড় ফাঁক দশগুণ বেশি। এটি তিনটি নির্দিষ্ট উপায়ে গুরুত্বপূর্ণ। খরচ: প্রতি টোকেন এপিআই মূল্য নির্ধারণ করা হয়, তাই একটি দীর্ঘ টোকেন গণনা একই সামগ্রীর জন্য সরাসরি মূল্য বৃদ্ধি। প্রসঙ্গ: একটি স্থির প্রসঙ্গ উইন্ডোতে প্রকৃত পাঠ্য কম থাকে, তাই নথিগুলিকে অবশ্যই কেটে ফেলতে হবে এবং কথোপকথনগুলি শীঘ্রই আগের বাঁকগুলি হারাবে৷ গতি এবং গুণমান: আরও টোকেন মানে আরও প্রজন্মের পদক্ষেপ, এবং ভারী বিভক্তকরণ মডেলের জন্য শব্দের ভাল উপস্থাপনা শিখতে কঠিন করে তুলতে পারে, যা সেই ভাষাগুলিতে দুর্বল কর্মক্ষমতার জন্য অবদান রাখতে পারে। প্রদানকারীরা আংশিকভাবে সাড়া দিয়েছে। যখন OpenAI 2024 সালে GPT-4o প্রকাশ করে, তখন এটি একটি বড় টোকেনাইজার প্রবর্তন করে এবং বলে যে এটি অনেক অ-ইংরেজি ভাষার জন্য কম টোকেন ব্যবহার করেছে। বৃহত্তর শব্দভান্ডার এবং আরও ভারসাম্যপূর্ণ প্রশিক্ষণ ডেটা সাহায্য করে, কিন্তু তারা ব্যবধান সম্পূর্ণভাবে দূর করে না। একটি সাধারণ ভ্রান্ত ধারণা হল যে কিছু ভাষা কেবল শব্দময়। অনুবাদের দৈর্ঘ্য ভিন্ন হয়, কিন্তু বড় টোকেন ফাঁক প্রধানত আসে কিভাবে টোকেনাইজার তৈরি করা হয়েছিল, ভাষা থেকে নয়।