الدليل الفني
الترميز وترميز زوج البايت
يقوم الترميز بتقسيم النص إلى وحدات صغيرة يقرأها نموذج اللغة فعليًا، ويعد تشفير زوج البايت (BPE) الطريقة الشائعة لبناء تلك المفردات.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It balances having a manageable vocabulary against handling any word the model might encounter.
الغوص العميق
لا ترى نماذج اللغة أحرفًا أولية أو كلمات كاملة، بل ترى الرموز المميزة ومعرفات الأعداد الصحيحة المعينة لأجزاء من النص. يعد اختيار هذه القطع بمثابة مقايضة: فالمفردات على مستوى الكلمات ضخمة وتختنق بالكلمات غير المرئية أو التي بها أخطاء إملائية، في حين أن المفردات على مستوى الأحرف تجعل التسلسلات طويلة جدًا. تشفير زوج البايت يحقق حلاً وسطًا. يبدأ BPE، المستعار من خوارزمية ضغط البيانات في التسعينيات، من الأحرف الفردية (أو البايتات الأولية) ويدمج بشكل متكرر الزوج المجاور الأكثر شيوعًا في رمز مميز جديد، مما يؤدي إلى تنمية المفردات نحو الكلمات الفرعية الشائعة. تصبح الكلمات المتكررة رموزًا فردية، بينما تنقسم الكلمات النادرة إلى أجزاء قابلة لإعادة الاستخدام. يعمل BPE على مستوى البايت، الذي تستخدمه نماذج GPT، على وحدات البايت الأولية بحيث يمكنه تمثيل أي نص Unicode - بما في ذلك الرموز التعبيرية وأي لغة - دون أي فشل في المفردات.
التنفيذ في العالم الحقيقي
تستخدم نماذج GPT وLlama الرموز المميزة على نمط BPE لتحويل المطالبات إلى معرفات الرموز المميزة التي تعالجها الشبكة.
يتم قياس تسعير واجهة برمجة التطبيقات (API) وحدود نافذة السياق بالرموز المميزة، لذا يؤثر الترميز بشكل مباشر على التكلفة ومدى ملاءمة النص.
التعامل مع الرموز التعبيرية والأكواد والكلمات النادرة بأمان عن طريق تقسيمها إلى كلمات فرعية أو أجزاء بايت قابلة لإعادة الاستخدام.
دعم العديد من اللغات في نموذج واحد دون قاموس منفصل لكل لغة، عبر التشفير على مستوى البايت.
مستقبل الترميز وترميز زوج البايت
يخضع الترميز حاليًا لعملية إعادة تفكير نشطة. تهدف النماذج على مستوى البايت والأحرف مثل ByT5، والبنيات الناشئة الخالية من الرمز المميز أو "البايت الكامنة"، إلى إسقاط المفردات الثابتة تمامًا حتى تتعامل النماذج مع أي مدخلات وأي لغة بشكل موحد. يعالج الباحثون أيضًا عدالة الترميز - حيث تكلف العديد من اللغات غير الإنجليزية واللغات منخفضة الموارد حاليًا عددًا أكبر بكثير من الرموز المميزة لكل جملة، مما يؤدي إلى ارتفاع السعر وتقليص السياق الفعال. توقع ضبط الرموز المميزة للتعليمات البرمجية والرياضيات والتوازن متعدد اللغات، بالإضافة إلى التجارب المستمرة لدفع الحدود مرة أخرى نحو وحدات البايت الأولية.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Tokenization and Byte Pair Encoding quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Tokenization and Byte Pair Encoding?
يقوم الترميز بتقسيم النص إلى وحدات صغيرة يقرأها نموذج اللغة فعليًا، ويعد تشفير زوج البايت (BPE) الطريقة الشائعة لبناء تلك المفردات. فهو يوازن بين وجود مفردات يمكن التحكم فيها والتعامل مع أي كلمة قد يواجهها النموذج.
ما الذي ينتجه الترميز لنموذج اللغة ليقرأه؟
تعمل النماذج على الرموز المميزة - معرفات الأعداد الصحيحة التي تمثل الأحرف أو الكلمات الفرعية أو الكلمات - بدلاً من السلاسل النصية الأولية.
كيف يقوم Byte Pair Encoding ببناء مفرداته؟
يبدأ BPE من الأحرف أو البايتات ويدمج بشكل جشع الأزواج المتجاورة الأكثر شيوعًا، ليشكل تدريجيًا رموزًا فرعية مشتركة.
ما هي المشكلة التي تحلها أساليب الكلمات الفرعية مثل BPE مقارنة بالترميز على مستوى الكلمة؟
تفشل المفردات على مستوى الكلمات في الكلمات غير المرئية؛ يقوم ترميز الكلمات الفرعية بتقسيم الكلمات النادرة إلى أجزاء معروفة، مما يتجنب المشكلات خارج المفردات مع الحفاظ على سهولة التحكم في المفردات.
ما هي ميزة BPE على مستوى البايت، كما هو مستخدم في نماذج GPT؟
ويعني التشغيل على وحدات البايت الأولية أنه يمكن تشفير كل المدخلات الممكنة، لذلك لا توجد أحرف غير معروفة حقًا بغض النظر عن اللغة أو الرمز.
لماذا يختلف عدد الرموز المميزة للنموذج غالبًا عن عدد الكلمات في الجملة؟
يمكن أن يؤدي ترميز الكلمات الفرعية إلى تقسيم كلمة واحدة إلى أجزاء متعددة، كما أنه حساس للمسافات وحالة الأحرف، لذلك نادرًا ما يتساوى عدد الرموز المميزة مع عدد الكلمات.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع