درجہ حرارت اور نمونے

They decide whether you get the same predictable answer every time or fresh, varied phrasing.

ہر قدم پر، ایک لینگویج ماڈل کسی لفظ کو براہ راست آؤٹ پٹ نہیں کرتا ہے - یہ اپنے الفاظ میں ہر ٹوکن کے لیے ایک اسکور (ایک 'لاگٹ') پیدا کرتا ہے، جو سافٹ میکس ایک امکانی تقسیم میں بدل جاتا ہے۔ سیمپلنگ یہ ہے کہ اس تقسیم سے اگلا ٹوکن کیسے منتخب کیا جاتا ہے۔ درجہ حرارت منتخب کرنے سے پہلے تقسیم کو نئی شکل دیتا ہے: کم درجہ حرارت سب سے اوپر کے انتخاب کو حاوی بناتا ہے، لہذا آؤٹ پٹ توجہ مرکوز اور دوبارہ قابل عمل ہے۔ زیادہ درجہ حرارت اسے چپٹا کر دیتا ہے، جس سے زیادہ قسم (اور زیادہ خرابیاں) کے لیے غیر امکانی ٹوکن پھسل جاتے ہیں۔ دو مشہور فلٹرز پہلے پول کو تنگ کرتے ہیں۔ Top-k صرف k سب سے زیادہ امکان والے ٹوکن رکھتا ہے۔ Top-p، یا نیوکلئس سیمپلنگ، ٹوکنز کا سب سے چھوٹا سیٹ رکھتا ہے جس کے امکانات p (0.9 کہتے ہیں) تک بڑھ جاتے ہیں، لہذا جب ماڈل غیر یقینی ہو تو پول بڑھتا ہے اور جب پراعتماد ہوتا ہے تو سکڑ جاتا ہے۔ یہ ترتیبات ایک ساتھ مل کر تخلیقی صلاحیتوں کے خلاف قابل اعتماد تجارت کو ختم کرتی ہیں۔