एल्मो प्रासंगिक एंबेडिंग्स
ईएलएमओ (भाषा मॉडल से एंबेडिंग) 2018 की एक सफलता थी जिसने प्रत्येक शब्द को उसके वाक्य के अनुसार एक प्रतिनिधित्व दिया, इसलिए 'नदी बैंक' में 'बैंक' 'बचत बैंक' में 'बैंक' से भिन्न है। इसने स्थिर शब्द वैक्टर से संदर्भ-जागरूक एनएलपी में बदलाव को चिह्नित किया।
गहरा गोता
एआई शोधकर्ताओं (पीटर्स एट अल।, 2018) के लिए एलन इंस्टीट्यूट द्वारा पेश किया गया ईएलएमओ, एक अरब-शब्द कॉर्पस पर प्रशिक्षित एक गहरे द्विदिश एलएसटीएम भाषा मॉडल के माध्यम से एक वाक्य चलाकर शब्द प्रतिनिधित्व उत्पन्न करता है। Word2Vec या GloVe के विपरीत, जो प्रति शब्द एक निश्चित वेक्टर निर्दिष्ट करता है, ELMo आसपास के संदर्भ के आधार पर प्रत्येक घटना के लिए एक ताज़ा वेक्टर की गणना करता है। महत्वपूर्ण रूप से, ईएलएमओ केवल शीर्ष परत का उपयोग करने के बजाय सीखे गए, कार्य-विशिष्ट भार के माध्यम से सभी आंतरिक एलएसटीएम परतों को जोड़ता है। निचली परतें वाक्यविन्यास (भाषण का हिस्सा, संरचना) को पकड़ती हैं जबकि उच्च परतें शब्दार्थ और शब्द अर्थ को पकड़ती हैं। मौजूदा मॉडलों में ईएलएमओ को जोड़ने से छह बेंचमार्क कार्यों में बड़ा लाभ हुआ, जिसमें प्रश्न उत्तर देना, भावना विश्लेषण और नामित इकाई पहचान शामिल है।
तकनीकी अंतर्दृष्टि
ईएलएमओ दो एलएसटीएम को ढेर करता है: एक आगे की भाषा मॉडल अगले शब्द की भविष्यवाणी करता है और एक पिछड़ा पिछले शब्द की भविष्यवाणी करता है, प्रत्येक चरित्र-स्तर सीएनएन इनपुट पर (इसलिए यह अनदेखे शब्दों को संभालता है)। डाउनस्ट्रीम कार्य के लिए, ईएलएमओ सॉफ्टमैक्स-सामान्यीकृत वजन और एक स्केलर का उपयोग करके परत प्रतिनिधित्व को ध्वस्त कर देता है, जो सभी फाइन-ट्यूनिंग के दौरान सीखा जाता है। इसका मतलब यह है कि प्रत्येक कार्य यह तय कर सकता है कि उसे जमे हुए पूर्व-प्रशिक्षित बीआईएलएम से कितना सिंटैक्टिक बनाम सिमेंटिक सिग्नल चाहिए।
सामरिक प्रभाव
गति और पैमाना
भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
पहुंच और पहुंच
यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
स्पष्ट निर्णय
टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
ईएलएमओ प्रासंगिक एंबेडिंग्स का भविष्य
ईएलएमओ का मूल विचार, भाषा-मॉडल प्रीट्रेनिंग से प्रासंगिक प्रतिनिधित्व, मूलभूत बन गया, लेकिन इसके आवर्ती एलएसटीएम आर्किटेक्चर को 2018 के अंत में बीईआरटी जैसे ट्रांसफार्मर-आधारित मॉडल द्वारा ग्रहण किया गया था, जो समानांतर में पूरे वाक्यों को पढ़ता है और कहीं बेहतर पैमाने पर होता है। आज ईएलएमओ ज्यादातर ऐतिहासिक और शैक्षणिक महत्व का है, हालांकि कैरेक्टर-सीएनएन इनपुट हैंडलिंग और लेयर-वेटिंग विचार अभी भी कम-संसाधन और रूपात्मक रूप से समृद्ध भाषाओं में विशेष एम्बेडिंग कार्य को प्रभावित करते हैं।
वास्तविक विश्व कार्यान्वयन
नामित इकाई पहचान प्रणालियों में सुधार करना, जो आस-पास के शब्दों के आधार पर बताएं कि 'वाशिंगटन' किसी व्यक्ति, राज्य या शहर को संदर्भित करता है या नहीं
भावना विश्लेषण को बढ़ावा देने के लिए यह समझना कि 'बीमार' का मतलब 'मैं बीमार महसूस करता हूं' में नकारात्मक है, लेकिन 'वह बीमार है' में सकारात्मक है।
रीडर में संदर्भ-संवेदनशील टोकन वैक्टर को फीड करके SQuAD बेंचमार्क पर प्रश्न-उत्तर प्रणाली को बढ़ाना
मशीनी अनुवाद में शब्द इंद्रियों को स्पष्ट करना ताकि 'पौधा' जैसे बहुरूपी शब्द दिए गए संदर्भ का सही अनुवाद कर सकें
जोखिम और रेलिंग
मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
कार्यान्वयन रोडमैप
रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELMo Contextual Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
शब्द एम्बेडिंग
अक्सर पूछे जाने वाले प्रश्नों
What is ELMo Contextual Embeddings?
ईएलएमओ (भाषा मॉडल से एंबेडिंग) 2018 की एक सफलता थी जिसने प्रत्येक शब्द को उसके वाक्य के अनुसार एक प्रतिनिधित्व दिया, इसलिए 'नदी बैंक' में 'बैंक' 'बचत बैंक' में 'बैंक' से भिन्न है। इसने स्थिर शब्द वैक्टर से संदर्भ-जागरूक एनएलपी में बदलाव को चिह्नित किया।
ELMo और Word2Vec जैसे पुराने एम्बेडिंग के बीच मुख्य अंतर क्या है?
ELMo प्रासंगिक एम्बेडिंग उत्पन्न करता है: Word2Vec के प्रति शब्द एकल निश्चित वेक्टर के विपरीत, किसी शब्द का वेक्टर आसपास के वाक्य के आधार पर बदलता है।
पाठ पढ़ने के लिए ईएलएमओ किस तंत्रिका वास्तुकला का उपयोग करता है?
ईएलएमओ को भाषा मॉडल के रूप में प्रशिक्षित एक गहरे द्विदिशात्मक एलएसटीएम पर बनाया गया है, जो अनुक्रमों को बार-बार संसाधित करता है।
डाउनस्ट्रीम कार्य के लिए ईएलएमओ अपनी आंतरिक परतों को कैसे संयोजित करता है?
ईएलएमओ सभी बीआईएलएम परतों को संयोजित करने के लिए कार्य-विशिष्ट सॉफ्टमैक्स-सामान्यीकृत भार सीखता है, जिससे प्रत्येक कार्य को आवश्यकतानुसार सिंटैक्स या शब्दार्थ पर जोर दिया जाता है।
अनदेखे शब्दों को संभालने के लिए ईएलएमओ अपनी इनपुट इकाइयों के रूप में क्या उपयोग करता है?
ईएलएमओ एक चरित्र-स्तरीय सीएनएन से शब्द इनपुट बनाता है, इसलिए यह उन शब्दों का प्रतिनिधित्व कर सकता है जो उसने प्रशिक्षण के दौरान कभी नहीं देखे थे।
मोटे तौर पर ईएलएमओ कब और किसके द्वारा पेश किया गया था?
ईएलएमओ को 2018 में पीटर्स एट अल द्वारा प्रकाशित किया गया था। एलन इंस्टीट्यूट फॉर एआई (एआई2) में।