तंत्रिका वास्तुकला खोज

न्यूरल आर्किटेक्चर सर्च (एनएएस) तंत्रिका नेटवर्क संरचनाओं के डिजाइन को स्वचालित करता है - एल्गोरिदम को, मनुष्यों को नहीं, यह तय करने देता है कि कितनी परतें, कौन से संचालन और वे कैसे जुड़ते हैं। यह मॉडल डिज़ाइन को एक खोज समस्या में बदल देता है, ऐसे आर्किटेक्चर की खोज करता है जो हाथ से तैयार किए गए आर्किटेक्चर को टक्कर दे सकते हैं या हरा सकते हैं।

तंत्रिका नेटवर्क को हाथ से डिज़ाइन करना धीमा है और विशेषज्ञ अंतर्ज्ञान पर निर्भर करता है। एनएएस ने इसे संभावित आर्किटेक्चर के एक परिभाषित स्थान पर खोज के साथ बदल दिया है, जो एक ऐसी रणनीति द्वारा निर्देशित है जो उम्मीदवारों को प्रस्तावित करती है और यह अनुमान लगाने का एक तरीका है कि प्रत्येक कितना अच्छा है। प्रारंभिक एनएएस ने सुदृढीकरण सीखने या विकासवादी एल्गोरिदम का उपयोग किया, हजारों उम्मीदवार नेटवर्क को प्रशिक्षित किया - प्रसिद्ध रूप से हजारों जीपीयू-दिनों की लागत। सफलता खोज को सस्ता बना रही थी: वेट शेयरिंग (एक 'सुपरनेट' जिसमें सभी उम्मीदवार शामिल हैं) और DARTS जैसी अलग-अलग विधियां, जो निरंतर विकल्पों में अलग-अलग विकल्पों को आराम देती हैं ताकि ग्रेडिएंट डिसेंट आर्किटेक्चर और वजन को एक साथ अनुकूलित कर सके। एनएएस ने एफिशिएंटनेट जैसे कुशल मॉडल और कई मोबाइल-अनुकूलित नेटवर्क तैयार किए जो अब उत्पादन में उपयोग किए जाते हैं।