क्या है? बेंचमार्क?

जब बेंचमार्क परीक्षण उदाहरण या करीबी वेरिएंट प्रशिक्षण डेटा में मौजूद होते हैं, तो रिपोर्ट किए गए प्रदर्शन को बढ़ा दिया जाता है।

प्रशिक्षण के बाद मॉडल की गुणवत्ता को मापने के लिए उपयोग किया जाने वाला एक आयोजित डेटासेट।

यूनिट परीक्षणों के माध्यम से कोड-जनरेशन की शुद्धता को मापने के लिए उपयोग की जाने वाली पायथन प्रोग्रामिंग समस्याओं का एक बेंचमार्क।

एक सरल संदर्भ मॉडल का उपयोग यह तुलना करने के लिए किया जाता है कि क्या अधिक जटिल दृष्टिकोण वास्तव में परिणामों में सुधार करते हैं।

प्रशिक्षण, सत्यापन या परीक्षण के लिए उपयोग किए जाने वाले संरचित या असंरचित उदाहरणों का संग्रह।

मॉडल को ट्यून करने और ओवरफिटिंग को रोकने के लिए विकास के दौरान उपयोग किया जाने वाला डेटासेट।