بہترین نمونے لینے اور دوبارہ درجہ بندی کرنا

It is one of the simplest, most reliable ways to trade extra compute at inference time for higher answer quality.

نمونے لینے کے ساتھ ایک زبان کا ماڈل جب بھی آپ اسے چلاتے ہیں تو مختلف آؤٹ پٹ تیار کرتا ہے۔ Best-of N اس کا فائدہ اٹھاتا ہے: آپ N امیدواروں کے جوابات تیار کرتے ہیں، پھر انہیں دوبارہ ترتیب دیتے ہیں اور سب سے اوپر والے کو واپس کرتے ہیں۔ ری رینکر ایک سیکھا ہوا انعامی ماڈل ہو سکتا ہے (انسانی تاثرات سے کمک سیکھنے میں عام)، ایک تصدیق کنندہ جو درستگی کی جانچ کرتا ہے، یا اکثریتی ووٹنگ کے ذریعے جوابی معاہدے کی طرح ایک سادہ ہورسٹک۔ چونکہ ماڈل کو بہت سے لوگوں میں سے صرف ایک اچھی کوشش کی ضرورت ہوتی ہے، N کے بڑھنے کے ساتھ ہی معیار میں تیزی سے اضافہ ہوتا ہے، خاص طور پر استدلال اور کوڈ کے کاموں پر جہاں ایک درست راستہ موجود ہوتا ہے لیکن ہمیشہ پہلا نمونہ نہیں ہوتا ہے۔ لاگت N میں لکیری ہے، اور آخر کار سطح مرتفع حاصل کرتی ہے یا اسکورر نامکمل ہونے کی صورت میں بھی معکوس ہو جاتا ہے، ایک ناکامی موڈ جسے ریوارڈ ہیکنگ یا ریوارڈ اوور آپٹیمائزیشن کہتے ہیں۔