क्या है? GSM8K?

यूनिट परीक्षणों के माध्यम से कोड-जनरेशन की शुद्धता को मापने के लिए उपयोग की जाने वाली पायथन प्रोग्रामिंग समस्याओं का एक बेंचमार्क।

मॉडल आउटपुट को प्रशिक्षित या मूल्यांकन करने के लिए विश्वसनीय संदर्भ लेबल का उपयोग किया जाता है।

मशीन लर्निंग मॉडल को प्रशिक्षित या मूल्यांकन करने के लिए मानव-जोड़े गए लेबल या मेटाडेटा का उपयोग किया जाता है।

बिल्डिंग सिस्टम का व्यापक क्षेत्र जो पैटर्न पहचान, तर्क, भाषा या निर्णय लेने की आवश्यकता वाले कार्य करता है।

मॉडल प्रदर्शन को मापने और तुलना करने के लिए उपयोग किया जाने वाला एक मानकीकृत परीक्षण या डेटासेट।

तर्क या पुनर्प्राप्ति के लिए उपयोग की जाने वाली संस्थाओं और संबंधों की एक ग्राफ़ संरचना।