सिंहावलोकन
मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (एमएआरएल) कई शिक्षण एजेंटों को प्रशिक्षित करता है जो एक वातावरण साझा करते हैं, प्रत्येक अपने व्यवहार को अनुकूलित करता है जबकि अन्य भी अनुकूलन करते हैं। यह मायने रखता है क्योंकि अधिकांश वास्तविक दुनिया की समस्याएं - यातायात, बाजार, रोबोट की टीमें - इसमें एक नहीं बल्कि कई निर्णय लेने वाले शामिल होते हैं।
मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग कोर एआई टूलकिट में बैठता है। जब आप इसे समझ जाते हैं, तो अन्य एआई विषयों का मूल्यांकन और तुलना करना आसान हो जाता है।
गहरा गोता
एकल-एजेंट सुदृढीकरण सीखने में, एक एजेंट एक निश्चित वातावरण में इनाम को अधिकतम करके एक नीति सीखता है। MARL अधिक एजेंट जोड़ता है, और इससे सब कुछ बदल जाता है: प्रत्येक एजेंट के दृष्टिकोण से, वातावरण गैर-स्थिर है क्योंकि अन्य लोग अपनी नीतियां बदलते रहते हैं। एजेंट सहयोगी हो सकते हैं (टीम का इनाम साझा करना, जैसे फुटबॉल खेलने वाले रोबोट), प्रतिस्पर्धी (शून्य-राशि, जैसे पोकर या पीछा-चोरी), या मिश्रित। शोधकर्ता मार्कोव गेम (स्टोकेस्टिक गेम) जैसी औपचारिकताओं का उपयोग करते हैं जो एकल-एजेंट मार्कोव निर्णय प्रक्रिया को सामान्यीकृत करते हैं। प्रसिद्ध परिणामों में डीपमाइंड के अल्फास्टार का स्टारक्राफ्ट II में ग्रैंडमास्टर तक पहुंचना और OpenAI पांच पेशेवर Dota 2 टीमों को हराना शामिल है, दोनों स्वयं-खेल के माध्यम से एक-दूसरे के खिलाफ प्रशिक्षित एजेंटों की आबादी पर निर्भर हैं।
तकनीकी अंतर्दृष्टि
एक मुख्य चुनौती गैर-स्थिरता है: जैसे-जैसे प्रत्येक एजेंट अपनी नीति को अद्यतन करता है, दूसरों को एक गतिशील लक्ष्य का सामना करना पड़ता है, इसलिए अनुभवहीन स्वतंत्र शिक्षा एकजुट होने में विफल हो सकती है। एक लोकप्रिय समाधान विकेन्द्रीकृत निष्पादन (CTDE) के साथ केंद्रीकृत प्रशिक्षण है, जिसका उपयोग MADDPG और QMIX जैसे एल्गोरिदम द्वारा किया जाता है। प्रशिक्षण के दौरान, एक आलोचक स्थिर ग्रेडिएंट की गणना करने के लिए सभी एजेंटों के अवलोकन और कार्यों को देखता है, लेकिन तैनाती के समय प्रत्येक एजेंट केवल अपने स्वयं के स्थानीय अवलोकनों का उपयोग करके कार्य करता है - व्यावहारिक, स्वतंत्र संचालन के साथ समन्वित शिक्षण का संयोजन।
मल्टी-एजेंट सुदृढीकरण सीखने में महारत हासिल करना
मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (एमएआरएल) कई शिक्षण एजेंटों को प्रशिक्षित करता है जो एक वातावरण साझा करते हैं, प्रत्येक अपने व्यवहार को अनुकूलित करता है जबकि अन्य भी अनुकूलन करते हैं। यह मायने रखता है क्योंकि अधिकांश वास्तविक दुनिया की समस्याएं - यातायात, बाजार, रोबोट की टीमें - इसमें एक नहीं बल्कि कई निर्णय लेने वाले शामिल होते हैं। मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग कोर एआई टूलकिट में बैठता है। जब आप इसे समझ जाते हैं, तो अन्य एआई विषयों का मूल्यांकन और तुलना करना आसान हो जाता है। गहरी समझ बनाने के लिए, मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग को एक ऑपरेटिंग मॉडल के रूप में मानें, न कि एक विशेषता के रूप में: वांछित परिणामों को परिभाषित करें, मान्यताओं को स्पष्ट करें, और जो सिस्टम विश्वसनीय रूप से कर सकता है उसे अलग करें जिसके लिए अभी भी विशेषज्ञ निर्णय की आवश्यकता है।
व्यवहार में, मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग का उपयोग करने वाली मजबूत टीमें पहले मजबूत वैचारिक मॉडल बनाती हैं, फिर उन मॉडलों को वास्तविक उत्पादन बाधाओं के अनुसार मैप करती हैं। वे स्पष्ट सफलता मानदंडों का दस्तावेजीकरण करते हैं, यथार्थवादी डेटा और वर्कफ़्लो के विरुद्ध परीक्षण करते हैं, और एक बार की बेंचमार्क जीत के बजाय देखे गए विफलता पैटर्न के आधार पर पुनरावृत्ति करते हैं। यहीं पर सैद्धांतिक समझ उत्पाद, नीति और संचालन में टिकाऊ क्षमता में बदल जाती है।
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है। एक ही समय में, अलग-अलग टीमें एक ही शब्द का अलग-अलग उपयोग कर सकती हैं, इसलिए दायरे को जल्दी परिभाषित करें। सबसे लचीला दृष्टिकोण प्रयोग की गति को शासन अनुशासन के साथ जोड़ना है: पायलट चलाना, साक्ष्य प्राप्त करना, निर्णय लॉग प्रकाशित करना, और मॉडल व्यवहार, उपयोगकर्ता अपेक्षाओं और नियामक आवश्यकताओं के विकसित होने पर सुरक्षा उपायों को लगातार अपडेट करना।
सामरिक प्रभाव
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है। उच्च-गुणवत्ता वाली तैनाती में, इसे मापने योग्य संचालन नियमों, स्वामित्व सीमाओं और आवर्ती समीक्षा अनुष्ठानों में अनुवादित किया जाता है ताकि टीमें अस्पष्टता को मापने के बजाय आत्मविश्वास को बढ़ा सकें।
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं। उच्च-गुणवत्ता वाली तैनाती में, इसे मापने योग्य संचालन नियमों, स्वामित्व सीमाओं और आवर्ती समीक्षा अनुष्ठानों में अनुवादित किया जाता है ताकि टीमें अस्पष्टता को मापने के बजाय आत्मविश्वास को बढ़ा सकें।
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं। उच्च-गुणवत्ता वाली तैनाती में, इसे मापने योग्य संचालन नियमों, स्वामित्व सीमाओं और आवर्ती समीक्षा अनुष्ठानों में अनुवादित किया जाता है ताकि टीमें अस्पष्टता को मापने के बजाय आत्मविश्वास को बढ़ा सकें।
वास्तविक विश्व कार्यान्वयन
गोदाम रोबोटों के बेड़े का समन्वय करना ताकि वे गलियारों में टकराव या गतिरोध के बिना पैकेजों को रूट कर सकें
ट्रैफ़िक-सिग्नल नियंत्रण जहां प्रत्येक चौराहा शहर-व्यापी भीड़भाड़ को कम करने के लिए सीखने वाला एक एजेंट है
कई एजेंटों के बीच सेल्फ-प्ले के माध्यम से OpenAI फाइव (Dota 2) और अल्फास्टार (StarCraft II) जैसे प्रशिक्षण गेम AI
स्मार्ट बिजली ग्रिड में वितरित बैटरियों और घरों के बीच बोलियों और मांग प्रतिक्रिया का प्रबंधन करना
कार्यान्वयन पैटर्न
व्यवहार में मल्टी-एजेंट सुदृढीकरण सीखना
गोदाम रोबोटों के बेड़े का समन्वय करना ताकि वे गलियारों में टकराव या गतिरोध के बिना पैकेजों को रूट कर सकें।
वेयरहाउस रोबोटों के बेड़े का समन्वय करना ताकि वे गलियारों में टकराव या गतिरोध के बिना पैकेजों को रूट कर सकें। टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए एक मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
व्यवहार में मल्टी-एजेंट सुदृढीकरण सीखना
ट्रैफ़िक-सिग्नल नियंत्रण जहां प्रत्येक चौराहा शहर-व्यापी भीड़भाड़ को कम करने के लिए सीखने वाला एक एजेंट है।
ट्रैफ़िक-सिग्नल नियंत्रण जहां प्रत्येक चौराहा शहर-व्यापी भीड़भाड़ को कम करने के लिए सीखने वाला एक एजेंट है। टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए एक मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
व्यवहार में मल्टी-एजेंट सुदृढीकरण सीखना
कई एजेंटों के बीच सेल्फ-प्ले के माध्यम से OpenAI फाइव (Dota 2) और अल्फास्टार (StarCraft II) जैसे प्रशिक्षण गेम AI।
प्रशिक्षण खेल AI जैसे OpenAI फाइव (Dota 2) और अल्फास्टार (StarCraft II) कई एजेंटों के बीच स्व-प्ले के माध्यम से टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए एक मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
व्यवहार में मल्टी-एजेंट सुदृढीकरण सीखना
स्मार्ट बिजली ग्रिड में वितरित बैटरियों और घरों के बीच बोलियों और मांग प्रतिक्रिया का प्रबंधन करना।
स्मार्ट बिजली ग्रिड में वितरित बैटरियों और घरों के बीच बोलियों और मांग प्रतिक्रिया का प्रबंधन करना टीमों को आमतौर पर बेहतर परिणाम मिलते हैं जब वे गुणवत्ता सीमा को सामने से परिभाषित करते हैं, किनारे के मामलों के लिए मानव वृद्धि पथ रखते हैं, और समय के साथ उत्पादकता लाभ और त्रुटि लागत दोनों को ट्रैक करते हैं।
जोखिम और रेलिंग
अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
कार्यान्वयन रोडमैप
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।
दस्तावेज़ जहां मल्टी-एजेंट सुदृढीकरण सीखना मदद करता है और जहां सरल तरीके बेहतर हैं।
दस्तावेज़ जहां मल्टी-एजेंट सुदृढीकरण सीखना मदद करता है और जहां सरल तरीके बेहतर हैं। प्रत्येक चरण को एक साक्ष्य द्वार के रूप में मानें: यदि मानदंड पूरे नहीं होते हैं, तो रोलआउट रोकें, अंतर को बंद करें, और उसके बाद ही उपयोग का विस्तार करें।