አሉታዊ ናሙና እና የድምጽ ንፅፅር ግምት
አሉታዊ ናሙና እና ጫጫታ ንፅፅር ግምት (NCE) በጣም ውድ የሆነ ሙሉ ለስላሳ ማክስን ሳያስሉ ሞዴሎች በትላልቅ መዝገበ-ቃላት እንዲማሩ የሚያደርጉ ዘዴዎች ናቸው።
አጠቃላይ እይታ
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
ጥልቅ ዳይቭ
አንድ የቃላት ዝርዝር በመቶ ሺዎች የሚቆጠሩ ቃላት ሲኖረው፣ ለእያንዳንዱ የሥልጠና ደረጃ መደበኛ softmax በእያንዳንዱ ቃል ላይ መደበኛ ማድረግ አለበት - በጣም ቀርፋፋ። ጫጫታ ንፅፅር ግምት ችግሩን እንደ ሁለትዮሽ ምደባ ያዋቅረዋል፡ ከታለመለት እና ከታወቀ ስርጭቱ የተወሰዱ ጥቂት 'የጩኸት' ናሙናዎች ከተገኙ፣ እውነተኛውን ናሙና ከድምጽ መለየት ይማሩ፣ ይህም ያለ ግልጽ መደበኛነት የሚፈለጉትን እድሎች በተዘዋዋሪ ያገግማል። አሉታዊ ናሙና፣ በ word2vec's skip-gram ሞዴል ተወዳጅነት ያለው፣ ቀለል ያለ የአጎት ልጅ ነው፡ ለእያንዳንዱ እውነት (ቃል፣ አውድ) በማጣመር k ኔጌቲቭን እና ሞዴሉን ለትክክለኛው ጥንዶች ከፍተኛ ነጥብ እና ዝቅተኛ ነጥብን ለሀሰተኛዎቹ እንዲመድብ ያሠለጥናል፣ የሲግሞይድ አላማን በመጠቀም። ሁለቱም በጣም ውድ የሆነ የባለብዙ ክፍል ችግርን ወደ ብዙ ርካሽ ሁለትዮሽ ይለውጣሉ፣ መጠነ ሰፊ የመካተት ስልጠናን ተግባራዊ ያደርጋሉ። የድምፅ ማከፋፈያ ምርጫ (ብዙውን ጊዜ ዩኒግራም ወደ 3/4 ሃይል ይነሳል) ጥራትን በእጅጉ ይጎዳል።
ቴክኒካዊ ግንዛቤ
NCE መረጃን ከድምፅ ጋር በመመደብ አንድን ሞዴል ይገምታል፣ እና የድምጽ ናሙናዎች ቁጥር እያደገ ሲሄድ ከትክክለኛው መደበኛ ሶፍትማክስ ጋር ከፍተኛውን እድል ይገመታል። አሉታዊ ናሙና የ NCEን መደበኛነት ውሎች ሙሉ በሙሉ ይጥላል፣ የምዝግብ ማስታወሻ σ(አዎንታዊ ነጥብ) + Σ ሎግ σ(-አሉታዊ ነጥብ) በማሻሻል። ያ ፈጣን ያደርገዋል ግን ከአሁን በኋላ ወጥነት ያለው ጥግግት ግምታዊ አይደለም - ከተስተካከሉ እድሎች ይልቅ ጥሩ መክተትን ለመማር የተስተካከለ ነው። ከተስተካከለ የዩኒግራም ስርጭት (ድግግሞሽ^0.75) አሉታዊ ነገሮችን መውሰድ የተለመዱ እና ያልተለመዱ ቃላትን ያመዛዝናል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የወደፊት አሉታዊ ናሙና እና የጩኸት ንፅፅር ግምት
ዋናው ሀሳቡ - አዎንታዊ ጎኖችን ከናሙና ከተነሱ አሉታዊ ነገሮች ጋር በማነፃፀር ተማር - አሁን ዘመናዊ በራስ ቁጥጥር የሚደረግበት እና ንፅፅር የውክልና ትምህርትን በእይታ፣ ቋንቋ እና ምክሮች ያበረታታል። የወደፊት ሥራ የሚያተኩረው በጠንካራ-አሉታዊ ማዕድን ማውጣት (በዘፈቀደ ሳይሆን መረጃ ሰጪ አሉታዊ ነገሮችን መምረጥ)፣ ለሐሰት አሉታዊ ጎኖቹን ማጉደል፣ እና አሉታዊ አሉታዊ ነገሮችን በትልልቅ የማስታወሻ ባንኮች ወይም በቡድን ውስጥ ናሙና በርካሽ ማመጣጠን ላይ ነው። ሞዴሎች እያደጉ ሲሄዱ ቀልጣፋ የናሙና ዓላማዎች የውጤት ቦታዎች ወይም የእጩ ስብስቦች ትልቅ ሲሆኑ አስፈላጊ እንደሆኑ ይቆያሉ፣ እንደ ሰርስሮ ማውጣት እና መጠነ ሰፊ አማካሪዎች።
የእውነተኛ-ዓለም አተገባበር
word2vec skip-gram ያለ ሙሉ softmax ከቢሊዮኖች የሚቆጠሩ ቶከኖች ከአሉታዊ ናሙና የመማሪያ ቃል ጋር።
በመቶ ሺዎች የሚቆጠሩ ቃላትን በብቃት ለማሰልጠን NCEን በመጠቀም የቋንቋ ሞዴሎች በታሪክ።
ባለ ሁለት ፎቅ መክተቻ ሞዴሎችን ለማሰልጠን ተጠቃሚው ያልተገናኘው 'አሉታዊ' ንጥሎችን የመምረጥ የጥቆማ እና የማውጣት ስርዓቶች።
የግራፍ እና የእውቀት-ግራፍ መክተቻዎች (ለምሳሌ፣ የሶስትዮሽ ጭንቅላት ወይም ጅራት መበላሸት) የህጋዊ አካላት ግንኙነቶችን ለመማር አሉታዊ ናሙናዎችን በመጠቀም።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Negative Sampling and Noise Contrastive Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
የመስመር ላይ እና ሃርድ አሉታዊ ማዕድን
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Negative Sampling and Noise Contrastive Estimation?
አሉታዊ ናሙና እና ጫጫታ ንፅፅር ግምት (NCE) በጣም ውድ የሆነ ሙሉ ለስላሳ ማክስን ሳያስሉ ሞዴሎች በትላልቅ መዝገበ-ቃላት እንዲማሩ የሚያደርጉ ዘዴዎች ናቸው። በተቻለ መጠን እያንዳንዱን ውጤት ከማስቆጠር ይልቅ ሞዴሉን እውነተኛ (አዎንታዊ) ምሳሌዎችን ከጥቂት የውሸት (አሉታዊ) ምሳሌዎች እንዲናገር ያስተምራሉ።
አሉታዊ ናሙና እና NCE በዋናነት የሚፈቱት ምን ችግር ነው?
ሁለቱም ዘዴዎች ስልጠናን እንደ ርካሽ የሁለትዮሽ መድልዎ በመቅረጽ ትልቅ የቃላት ዝርዝርን መደበኛ ማድረግን ያስወግዳሉ።
የድምፅ ንፅፅር ግምት የመማር ተግባሩን እንዴት ያስተካክላል?
NCE ሞዴሉን ከታወቀ የድምጽ ስርጭት ከተወሰዱ ናሙናዎች ለመለየት ሞዴሉን ያሠለጥናል።
የቃላት መክተትን ለመማር አሉታዊ ናሙናዎችን ታዋቂ ያደረገው የትኛው ሞዴል ነው?
አሉታዊ ናሙና በ word2vec skip-gram variant አስተዋወቀ እና ታዋቂ ሆኗል።
አሉታዊ ናሙና ከሙሉ NCE እንዴት ይለያል?
አሉታዊ ናሙና መደበኛነትን በማስወገድ NCEን ያቃልላል፣ የፕሮባቢሊቲ ትክክለኛነትን ለፍጥነት እና ለጥሩ መክተት ይገበያል።
ለምንድነው አሉታዊ ነገሮች ብዙውን ጊዜ ከዩኒግራም ስርጭቱ ወደ 3/4 ሃይል የሚነሱት?
0.75 ገላጭ የድግግሞሽ ስርጭቱን ያስተካክላል ስለዚህ የተለመዱ ቃላት እንዳይቆጣጠሩ እና ብርቅዬ ቃላት አሁንም ይታያሉ።