तकनीकी गाइड
कुबेरनेट्स पर केसर्व और मॉडल सर्विंग
केसर्व बड़े पैमाने पर मशीन लर्निंग मॉडल पेश करने के लिए एक मानकीकृत, कुबेरनेट्स-मूल मंच है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
यह टीमों को ऑटोस्केलिंग, कैनरी रोलआउट और स्केल-टू-जीरो के साथ मॉडल तैनात करने का एक एकल, घोषणात्मक तरीका देता है, जो अधिकांश कुबेरनेट्स प्लंबिंग को दूर करता है।
गहरा गोता
पहले KFServing के नाम से जाना जाता था और Kubeflow प्रोजेक्ट से जन्मा, KServe एक InferenceService कस्टम संसाधन को परिभाषित करता है। आप ऑब्जेक्ट स्टोरेज (S3, GCS, Azure Blob) में संग्रहीत मॉडल की ओर इशारा करते हुए एक छोटी YAML फ़ाइल लिखते हैं, और KServe बाकी को संभालता है। यह पूर्वानुमानित अनुमान और, तेजी से, जेनरेटिव एलएलएम सेवा दोनों का समर्थन करता है। केसर्व सामान्य फ्रेमवर्क (टेंसरफ्लो सर्विंग, टॉर्चसर्व, ट्राइटन, स्किकिट-लर्न, एक्सजीबूस्ट, हगिंग फेस) के लिए पूर्व-निर्मित 'सर्विंग रनटाइम' भेजता है और कस्टम कंटेनरों का समर्थन करता है। नेटिव सर्विंग और एक नेटवर्किंग परत (इस्टियो या समान) के शीर्ष पर निर्मित, यह वास्तविक स्केल-टू-जीरो सहित अनुरोध-संचालित ऑटोस्केलिंग प्रदान करता है, इसलिए निष्क्रिय मॉडल कोई गणना नहीं करते हैं। यह ओपन इंफ़रेंस प्रोटोकॉल के आसपास भविष्यवाणी एपीआई को भी मानकीकृत करता है, इसलिए ग्राहक ढांचे की परवाह किए बिना हर मॉडल से उसी तरह बात करते हैं।
वास्तविक विश्व कार्यान्वयन
एक बैंक S3 में मॉडल की ओर इशारा करते हुए 10-पंक्ति InferenceService YAML लिखकर एक क्रेडिट-स्कोरिंग मॉडल तैनात करता है, जिसमें KServe ऑटोस्केलिंग और इनग्रेस को संभालता है।
एक ई-कॉमर्स टीम 10 प्रतिशत ट्रैफ़िक को नए अनुशंसा मॉडल पर भेजने के लिए केसर्व कैनरी रोलआउट का उपयोग करती है, फिर मेट्रिक्स स्वस्थ दिखने पर 100 प्रतिशत तक बढ़ जाती है।
एक शोध प्रयोगशाला स्केल-टू-जीरो के साथ शायद ही कभी उपयोग किए जाने वाले दर्जनों मॉडल पेश करती है, इसलिए प्रत्येक मॉडल केवल तभी घूमता है जब कोई अनुरोध आता है और निष्क्रिय होने पर कोई जीपीयू उपभोग नहीं करता है।
एक एमएलओपीएस टीम भविष्यवक्ता द्वारा ट्राइटन-सेवित विज़न मॉडल चलाने से पहले छवि का आकार बदलने और सामान्यीकरण करने के लिए एक केसर्व ट्रांसफॉर्मर घटक का उपयोग करती है।
कुबेरनेट्स पर केसर्व और मॉडल सर्विंग का भविष्य
केसर्व तेजी से जेनरेटिव एआई की ओर विकसित हो रहा है, जिसमें केवी-कैश-अवेयर रूटिंग, मॉडल कैशिंग और बड़े भाषा मॉडल के लिए अलग-अलग प्रीफिल/डीकोड सर्विंग जैसी सुविधाओं के साथ एलएलएम-केंद्रित ट्रैक जोड़ा जा रहा है। वीएलएलएम जैसे अनुमान इंजनों के साथ गहन एकीकरण, एक जीपीयू के लिए बहुत बड़े मॉडल के लिए बेहतर मल्टी-नोड सेवा और टोकन-आधारित लोड संतुलन के लिए गेटवे-स्तरीय रूटिंग की अपेक्षा करें। सीएनसीएफ-इनक्यूबेटिंग प्रोजेक्ट के रूप में, यह कुबेरनेट्स के पीछे मॉडल रखने के लिए वास्तविक खुला मानक बन रहा है, जो अनुसंधान कलाकृतियों और लचीले उत्पादन समापन बिंदुओं के बीच अंतर को कम कर रहा है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the KServe and Model Serving on Kubernetes quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
कुबेरनेट्स पर केसर्व और मॉडल सर्विंग क्या है?
केसर्व बड़े पैमाने पर मशीन लर्निंग मॉडल पेश करने के लिए एक मानकीकृत, कुबेरनेट्स-मूल मंच है। यह टीमों को ऑटोस्केलिंग, कैनरी रोलआउट और स्केल-टू-जीरो के साथ मॉडल तैनात करने का एक एकल, घोषणात्मक तरीका देता है, जो अधिकांश कुबेरनेट्स प्लंबिंग को दूर करता है।
स्टैंडअलोन प्रोजेक्ट बनने से पहले केसर्व का पिछला नाम क्या था?
एक स्वतंत्र मंच बनने से पहले KServe की उत्पत्ति Kubeflow परियोजना के भीतर KFServing के रूप में हुई थी।
केसर्व के साथ एक मॉडल को तैनात करने के लिए आप प्राथमिक कुबेरनेट्स कस्टम संसाधन क्या परिभाषित करते हैं?
आप किसी सर्व किए गए मॉडल को तैनात और कॉन्फ़िगर करने के लिए, आमतौर पर YAML में, एक InferenceService कस्टम संसाधन घोषित करते हैं।
कौन सी क्षमता निष्क्रिय केसर्व मॉडल को अनुरोध आने तक शून्य गणना का उपभोग करने देती है?
नेटिव पर निर्मित, केसर्व स्केल-टू-जीरो का समर्थन करता है, जब कोई ट्रैफ़िक नहीं होता है और मांग पर कोल्ड-स्टार्टिंग होती है, तो प्रतिकृतियां शून्य पर गिर जाती हैं।
कौन सी अंतर्निहित परियोजना केसर्व के अनुरोध-संचालित ऑटोस्केलिंग प्रदान करती है?
केसर्व नेटिव सर्विंग पर निर्माण करता है, जो समवर्ती या अनुरोध दर के आधार पर प्रतिकृतियों को मापता है और स्केल-टू-जीरो को सक्षम बनाता है।
केसर्व आम तौर पर स्टार्टअप पर मॉडल कलाकृतियों को सर्विंग पॉड में कैसे प्राप्त करता है?
स्टोरेज इनिशियलाइज़र ऑब्जेक्ट स्टोरेज (जैसे S3 या GCS) से मॉडल कलाकृतियों को पॉड में डाउनलोड करते हैं, छवि से मॉडल को अलग करते हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं