الترميز
الترميز هو الخطوة التي تقطع النص إلى أجزاء أصغر تسمى الرموز، وهي الوحدات التي يقرأها نموذج اللغة ويتنبأ بها بالفعل.
نظرة عامة
It quietly shapes cost, context limits, and even how well a model handles spelling and rare words.
الغوص العميق
قبل أن يرى النموذج النص الخاص بك، يقوم برنامج الرمز المميز بتقسيمه إلى رموز مميزة، والتي عادة ما تكون عبارة عن أجزاء من الكلمات الفرعية بدلاً من كلمات كاملة أو أحرف مفردة. قد تصبح كلمة "التعاسة" "un" أو "السعادة" أو قد تنقسم كلمة "tokenization" إلى "token" و "ization". غالبًا ما يتم تعيين الكلمات الشائعة إلى رمز مميز واحد، بينما تنقسم الكلمات أو الأسماء أو التعليمات البرمجية النادرة إلى عدة كلمات. يتم بعد ذلك تعيين كل رمز مميز إلى رقم معرف يحوله النموذج إلى متجه. وهذا أمر مهم من الناحية العملية لأن النماذج تحتوي على نوافذ سياق ثابتة يتم قياسها بالرموز المميزة، وفاتورة واجهات برمجة التطبيقات لكل رمز مميز، لذا فإن القاعدة العامة الإنجليزية التقريبية تبلغ حوالي 4 أحرف أو 0.75 كلمة لكل رمز مميز. يشرح الترميز أيضًا مراوغات النموذج الكلاسيكي: يعد حساب الحروف أو القيام بالتهجئة الدقيقة أمرًا صعبًا لأن النموذج يرى أجزاءً، وليس أحرفًا فردية.
البصيرة الفنية
تستخدم معظم برامج LLM الحديثة ترميز الكلمات الفرعية مثل Byte Pair Encoding (BPE) أو متغيراته على مستوى البايت. يبدأ BPE من الأحرف ويدمج بشكل متكرر الأزواج المتجاورة الأكثر شيوعًا لإنشاء مفردات ثابتة (غالبًا ما بين 30.000 إلى 100.000+ رمز مميز). وهذا يوازن بين نقيضين: لا يمكن للترميز على مستوى الكلمة التعامل مع الكلمات غير المرئية، في حين أن مستوى الأحرف يجعل التسلسلات طويلة جدًا. تسمح الكلمات الفرعية للنموذج بتمثيل أي سلسلة، بما في ذلك الأخطاء المطبعية والكلمات الجديدة، من خلال تأليف أجزاء معروفة، مع الحفاظ على التسلسلات قصيرة إلى حد معقول.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل الترميز
يعد الترميز مجالًا بحثيًا نشطًا على وجه التحديد لأنه يحد من الكفاءة والعدالة. إن اللغات التي يتم تحويلها إلى أجزاء أكثر تكلف أكثر وتستهلك السياق بشكل أسرع، لذا فإن العدالة في تعدد اللغات هي مصدر قلق حقيقي تتم معالجته باستخدام مفردات أفضل وأكثر توازناً. يستكشف الباحثون أيضًا نماذج خالية من الرمز المميز أو على مستوى البايت (مثل ByT5) ويتعلمون الترميز الذي يمكن أن يزيل الخطوة الهشة المضبوطة يدويًا بالكامل. في الوقت الحالي، توقع مفردات أكبر، ورموز مميزة متعددة اللغات أكثر ذكاءً، ووعيًا متزايدًا للمستخدمين بالتسعير القائم على الرمز المميز وميزانية السياق.
التنفيذ في العالم الحقيقي
تتم المحاسبة على تسعير واجهة برمجة التطبيقات (API) لنماذج مثل GPT وClaude لكل رمز مميز للإدخال والإخراج، وبالتالي فإن عدد الرموز المميزة يؤثر بشكل مباشر على التكلفة.
يتم قياس حدود نافذة السياق (على سبيل المثال، 128 ألف أو 200 ألف رمز مميز) بالرموز المميزة، مما يحدد مقدار النص أو التعليمات البرمجية التي يمكنك تضمينها.
يستخدم المطورون الرموز المميزة (مثل tiktoken) لتقدير الحجم الفوري وتقليص المحتوى قبل إرسال الطلبات.
يشرح الترميز سبب صعوبة النماذج في حساب الحروف في كلمة ما أو عكس سلسلة، لأنها ترى أجزاء من الكلمات الفرعية، وليس الأحرف.
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث يساعد الترميز وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
ترميز SentencePiece
الأسئلة المتداولة
What is Tokenization?
الترميز هو الخطوة التي تقطع النص إلى أجزاء أصغر تسمى الرموز، وهي الوحدات التي يقرأها نموذج اللغة ويتنبأ بها بالفعل. فهو يشكل التكلفة وحدود السياق بهدوء، وحتى مدى جودة تعامل النموذج مع التهجئة والكلمات النادرة.
ما هو "الرمز المميز" في سياق نموذج اللغة؟
الرموز المميزة هي الوحدات التي يعالجها النموذج، وعادةً ما تكون أجزاء من الكلمات الفرعية، وأحيانًا كلمات كاملة أو أحرف مفردة.
ما هو نهج الترميز الذي تستخدمه معظم LLMs الحديثة؟
تقوم أساليب الكلمات الفرعية مثل BPE بدمج أزواج الأحرف المتكررة، مما يؤدي إلى موازنة نقاط الضعف في الأساليب الخالصة على مستوى الكلمة ومستوى الأحرف.
لماذا يجعل الترميز مهام مثل عد الحروف في الكلمة أمرًا صعبًا بالنسبة لطلاب LLM؟
ونظرًا لأنه يتم تجميع النص في رموز الكلمات الفرعية، فإن النموذج لا يدرك كل حرف بشكل مباشر، مما يجعل المهام على مستوى الحروف عرضة للخطأ.
ما أهمية الترميز بالنسبة لتكلفة واجهة برمجة التطبيقات (API) وحدود السياق؟
يتم تحديد حجم فاتورة مقدمي الخدمة لكل رمز مميز ونوافذ السياق بالرموز المميزة، لذا فإن أعداد الرموز المميزة تحدد السعر والمبلغ الذي يمكنك تضمينه.
لماذا يمكن أن تكلف نفس الجملة المزيد من الرموز في بعض اللغات مقارنة باللغة الإنجليزية؟
فالمفردات التي يتم تدريبها في الغالب باللغة الإنجليزية تقسم اللغات الأخرى إلى المزيد من الرموز، مما يؤدي إلى زيادة التكلفة واستهلاك السياق بشكل أسرع.