AI لغت کی اصطلاح

کیا ہے سزا کا ٹکڑا?

تعریف

ایک لینگوئج-ایگنوسٹک ٹوکنائزر جو خالی جگہ پر پہلے سے تقسیم کیے بغیر خام متن سے براہ راست ذیلی الفاظ کی اکائیوں کو سیکھتا ہے۔

متعلقہ شرائط

کلپ
ایک ملٹی موڈل ماڈل فن تعمیر جو متن اور تصاویر کے درمیان مشترکہ نمائندگی سیکھتا ہے۔
مسلسل سیکھنا
تربیتی نقطہ نظر جو ایک ماڈل کو پیشگی معلومات کو فراموش کیے بغیر نئے ڈیٹا سے سیکھتے رہنے دیتے ہیں۔
سیاق و سباق میں سیکھنا
پرامپٹ میں براہ راست فراہم کردہ مثالوں سے نمونوں کی پیروی کرنے کی ماڈل کی صلاحیت۔
ارادے کی درجہ بندی
متن کے استفسار سے صارف کے مقصد کی پیش گوئی کرنا تاکہ اسے درست طریقے سے روٹ کیا جا سکے۔
بڑی زبان کا ماڈل (LLM)
متن کی تخلیق اور تجزیہ کرنے کے لیے بڑے پیمانے پر ٹیکسٹ کارپورا پر تربیت یافتہ زبان کا ماڈل۔
ٹوکن
زبان کے ماڈلز کے ذریعے پروسیس شدہ متن کا ایک حصہ، جیسے لفظ کا ٹکڑا یا علامت۔

ہماری مفت گائیڈز میں مزید جانیں۔

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔