تعلّم الأخبار الأدوات وظائف المهمة

مصطلح مسرد الذكاء الاصطناعي

ما هو BPE (ترميز زوج البايت)؟

التعريف

خوارزمية ترميز الكلمات الفرعية التي تدمج أزواج الأحرف الأكثر شيوعًا في الرموز المميزة القابلة لإعادة الاستخدام.

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية

الترميزعملية تقسيم النص إلى رموز مميزة لإدخال النموذج.التعرف الضوئي على الحروف (التعرف الضوئي على الحروف)تقنية تقوم بتحويل النص الموجود في الصور أو المسح الضوئي إلى نص يمكن قراءته بواسطة الآلة.أخذ العينات أعلى كاستراتيجية فك التشفير التي تأخذ عينات فقط من الرموز المميزة التالية على الأرجح.الانتشار العكسيخوارزمية التدريب الأساسية التي تعمل على تحديث أوزان النماذج عن طريق نشر أخطاء التنبؤ للخلف عبر الشبكة.التشفير الثنائينموذج يقوم بترميز الاستعلامات والمستندات في متجهات منفصلة بحيث يمكن مقارنتها بسرعة على نطاق واسع.بحث شعاعخوارزمية فك تشفير تحافظ على أعلى تسلسلات مرشحة في كل خطوة للعثور على مخرجات ذات احتمالية أعلى.

تعرف على المزيد في أدلةنا المجانية

ByteDance Doubao CycleGAN Unpaired Translation Tokenizer-Free Byte-Level Models Instant-NGP Hash Encoding

انظر أيضا

Sliding Window Attention SentencePiece ALiBi ANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSW Positional Encoding Reranker