गेटेड आवर्ती इकाइयाँ

It matters because it captures long-range patterns in text, speech, and time series almost as well as LSTMs while being faster and simpler to train.

2014 में चो और उनके सहयोगियों द्वारा पेश किया गया, जीआरयू को गायब होने वाली ग्रेडिएंट समस्या को हल करने के लिए डिज़ाइन किया गया था, जो सादे आवर्ती नेटवर्क से ग्रस्त थी, जो कई समय के चरणों में जानकारी को याद रखने के लिए संघर्ष करती है। LSTM के विपरीत, जो तीन गेट और एक अलग सेल स्थिति का उपयोग करता है, GRU केवल दो गेट और एक छिपी हुई स्थिति का उपयोग करता है। अद्यतन गेट नियंत्रित करता है कि पिछली छुपी हुई स्थिति को कितना आगे ले जाना है बनाम कितनी नई जानकारी जोड़नी है। रीसेट गेट यह तय करता है कि नए उम्मीदवार की स्थिति की गणना करते समय कितनी पिछली जानकारी को अनदेखा किया जाए। सीखे गए प्रक्षेप के साथ पुराने और नए राज्यों को सीधे मिश्रित करके, जीआरयू ग्रेडिएंट्स को लंबे अनुक्रमों में प्रवाहित करने देता है। कम मापदंडों का मतलब है कम मेमोरी, तेज़ प्रशिक्षण और छोटे डेटासेट पर मजबूत प्रदर्शन।