AI لغت کی اصطلاح

سزا کا ٹکڑا کیا ہے؟

تعریف

ایک لینگوئج-ایگنوسٹک ٹوکنائزر جو خالی جگہ پر پہلے سے تقسیم کیے بغیر خام متن سے براہ راست ذیلی الفاظ کی اکائیوں کو سیکھتا ہے۔

مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔

متعلقہ شرائط

کلپایک ملٹی موڈل ماڈل فن تعمیر جو متن اور تصاویر کے درمیان مشترکہ نمائندگی سیکھتا ہے۔مسلسل سیکھناتربیتی نقطہ نظر جو ایک ماڈل کو پیشگی معلومات کو فراموش کیے بغیر نئے ڈیٹا سے سیکھتے رہنے دیتے ہیں۔سیاق و سباق میں سیکھناپرامپٹ میں براہ راست فراہم کردہ مثالوں سے نمونوں کی پیروی کرنے کی ماڈل کی صلاحیت۔ارادے کی درجہ بندیمتن کے استفسار سے صارف کے مقصد کی پیش گوئی کرنا تاکہ اسے درست طریقے سے روٹ کیا جا سکے۔بڑی زبان کا ماڈل (LLM)متن کی تخلیق اور تجزیہ کرنے کے لیے بڑے پیمانے پر ٹیکسٹ کارپورا پر تربیت یافتہ زبان کا ماڈل۔ٹوکنزبان کے ماڈلز کے ذریعے پروسیس شدہ متن کا ایک حصہ، جیسے لفظ کا ٹکڑا یا علامت۔

ہماری مفت گائیڈز میں مزید جانیں۔

SentencePiece Tokenization

یہ بھی دیکھیں

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search