What is BPE (Byte Pair Encoding)? Definition | AI Understanding

التعريف

خوارزمية ترميز الكلمات الفرعية التي تدمج أزواج الأحرف الأكثر شيوعًا في الرموز المميزة القابلة لإعادة الاستخدام.

المصطلحات ذات الصلة

عملية تقسيم النص إلى رموز مميزة لإدخال النموذج.

التعرف الضوئي على الحروف (التعرف الضوئي على الحروف)

تقنية تقوم بتحويل النص الموجود في الصور أو المسح الضوئي إلى نص يمكن قراءته بواسطة الآلة.

أخذ العينات أعلى ك

استراتيجية فك التشفير التي تأخذ عينات فقط من الرموز المميزة التالية على الأرجح.

الانتشار العكسي

خوارزمية التدريب الأساسية التي تعمل على تحديث أوزان النماذج عن طريق نشر أخطاء التنبؤ للخلف عبر الشبكة.

التشفير الثنائي

نموذج يقوم بترميز الاستعلامات والمستندات في متجهات منفصلة بحيث يمكن مقارنتها بسرعة على نطاق واسع.

بحث شعاع

خوارزمية فك تشفير تحافظ على أعلى تسلسلات مرشحة في كل خطوة للعثور على مخرجات ذات احتمالية أعلى.

تعرف على المزيد في أدلةنا المجانية

ByteDance Doubao CycleGAN Unpaired Translation Tokenizer-Free Byte-Level Models Instant-NGP Hash Encoding

انظر أيضا

Sliding Window Attention SentencePiece ALiBi ANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSW Positional Encoding Reranker

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية