गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

एलएलएम इवल डेटासेट क्विज़ का निर्माण

वास्तविक मामलों, सुनहरे उत्तरों बनाम रूब्रिक्स, एज-केस कवरेज, और एक मूल्यांकन सेट को आकार देने वाले परीक्षण ताकि स्कोर अंतर सार्थक हो।

संबंधित मार्गदर्शक पथएलएलएम इवल डेटासेट का निर्माण
प्रश्न 1 का 8

eval मामलों के लिए सर्वोत्तम आरंभिक स्रोत के रूप में मार्गदर्शिका क्या अनुशंसा करती है?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. eval मामलों के लिए सर्वोत्तम आरंभिक स्रोत के रूप में मार्गदर्शिका क्या अनुशंसा करती है?
    • केवल एलएलएम-जनित सिंथेटिक प्रश्न
    • सार्वजनिक बेंचमार्क लीडरबोर्ड
    • इंटरनेट से यादृच्छिक पाठ निकाला गया
    • वास्तविक उपयोग, जैसे लॉग, समर्थन टिकट और खोज क्वेरी
  2. एक रूब्रिक एकल सुनहरे उत्तर से अधिक उपयुक्त कब होता है?
    • निश्चित लेबल वाले वर्गीकरण कार्य के लिए
    • ओपन-एंडेड कार्यों के लिए जहां कई अलग-अलग शब्द सही हो सकते हैं
    • सटीक चालान संख्या निकालने के लिए
    • रूब्रिक कभी भी अधिक उपयुक्त नहीं होता
  3. इनमें से कौन सा एक सुलिखित रूब्रिक मानदंड है?
    • मददगार है
    • स्वाभाविक लगता है
    • रिफंड की समय सीमा का उल्लेख करता है
    • उच्च गुणवत्ता वाला है
  4. 100 उत्तीर्ण/असफल मामलों और 80 प्रतिशत के करीब उत्तीर्ण दर के साथ, गाइड त्रुटि की संभावना के बारे में क्या कहता है?
    • यह मोटे तौर पर 8 प्रतिशत अंक प्लस या माइनस है, इसलिए दो-बिंदु सुधार शोर जैसा दिखता है
    • यह प्लस या माइनस 0.1 प्रतिशत अंक के बारे में है
    • यह बिल्कुल शून्य है
    • यह लगभग 50 प्रतिशत अंक प्लस या माइनस है
  5. प्रतिगमन स्लाइस का उद्देश्य क्या है?
    • पुराने मामलों को स्वचालित रूप से हटाने के लिए
    • मॉडल की प्रतिक्रियाओं को तेज़ करने के लिए
    • पिछली विफलताओं को सेट में रखने के लिए ताकि सुधारों का परीक्षण किया जा सके
    • मॉडल को उसकी गलतियों पर प्रशिक्षित करना
  6. रूब्रिक आइटमों को ग्रेड देने के लिए एलएलएम जज पर भरोसा करने से पहले आपको क्या करना चाहिए?
    • जज का तापमान बढ़ाएं
    • रूब्रिक हटा दें ताकि न्यायाधीश स्वतंत्र रूप से निर्णय ले सकें
    • एक ही मामले पर न्यायाधीश का परीक्षण करें
    • लोगों से एक नमूना लेबल करने और यह मापने के लिए कहें कि न्यायाधीश कितनी बार उनसे सहमत है
  7. डेटासेट का एक बचा हुआ भाग क्यों रखें जिसके विरुद्ध आप ट्यून नहीं करते हैं?
    • परीक्षण सेट पर ओवरफिटिंग संकेतों से बचने के लिए
    • भंडारण स्थान बचाने के लिए
    • क्योंकि नियमों के अनुसार इसकी आवश्यकता होती है
    • विलंबता को कम करने के लिए
  8. दो संस्करणों की तुलना करते समय समान मामलों पर युग्मित तुलनाएँ क्यों उपयोगी होती हैं?
    • वे किसी ग्रेडर की आवश्यकता को समाप्त कर देते हैं
    • उन्हें आमतौर पर स्वतंत्र नमूनों की तुलना करने की तुलना में कम उदाहरणों की आवश्यकता होती है
    • वे मॉडल आउटपुट से सभी गैर-नियतिवाद को हटा देते हैं
    • वे उत्तम स्कोर की गारंटी देते हैं