AI لغت کی اصطلاح

BPE (بائٹ پیئر انکوڈنگ) کیا ہے؟

تعریف

ایک ذیلی لفظ ٹوکنائزیشن الگورتھم جو سب سے زیادہ بار بار آنے والے کریکٹر جوڑوں کو دوبارہ قابل استعمال ٹوکنز میں ضم کرتا ہے۔

مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔

متعلقہ شرائط

ٹوکنائزیشنماڈل ان پٹ کے لیے متن کو ٹوکن میں تقسیم کرنے کا عمل۔OCR (آپٹیکل کریکٹر ریکگنیشن)ٹکنالوجی جو تصاویر میں متن کو تبدیل کرتی ہے یا اسکین کو مشین کے پڑھنے کے قابل متن میں تبدیل کرتی ہے۔ٹاپ-کے سیمپلنگایک ضابطہ کشائی کی حکمت عملی جو صرف k سے نمونے لیتی ہے ممکنہ طور پر اگلے ٹوکنز۔بیک پروپیگیشنبنیادی تربیتی الگورتھم جو پیشین گوئی کی غلطیوں کو نیٹ ورک کے ذریعے پیچھے کی طرف پھیلا کر ماڈل کے وزن کو اپ ڈیٹ کرتا ہے۔دو انکوڈرایک ماڈل جو سوالات اور دستاویزات کو الگ الگ ویکٹر میں انکوڈ کرتا ہے تاکہ ان کا پیمانے پر تیزی سے موازنہ کیا جا سکے۔بیم کی تلاشایک ضابطہ کشائی کرنے والا الگورتھم جو زیادہ امکانی نتائج کو تلاش کرنے کے لیے ہر قدم پر امیدواروں کی کئی ترتیبوں کو اوپر رکھتا ہے۔

ہماری مفت گائیڈز میں مزید جانیں۔

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

یہ بھی دیکھیں

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker