በራስ የመመራት ትምህርት
በራስ ቁጥጥር የሚደረግ ትምህርት መልሱ በራሱ በመረጃው ውስጥ የተደበቀ ተግባር በመፍጠር መለያ በሌለው ውሂብ ላይ ሞዴሎችን ያሠለጥናል።
አጠቃላይ እይታ
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
ጥልቅ ዳይቭ
መረጃን በእጅ መሰየም ቀርፋፋ እና ውድ ነው፣ነገር ግን አለም ያልተሰየመ ጽሑፍ፣ምስሎች፣ኦዲዮ እና ቪዲዮ የተሞላ ነው። በራስ ቁጥጥር የሚደረግበት ትምህርት ውሂቡ የራሱን መልስ የሚያቀርብበትን 'pretext tasks' በመፍጠር ይከፍታል። ክላሲክ ምሳሌው በበርት ጥቅም ላይ የሚውለው ጭንብል የቋንቋ ሞዴሊንግ ነው፡ አንዳንድ ቃላትን በአረፍተ ነገር ውስጥ ደብቅ እና ሞዴሉን ከዐውደ-ጽሑፉ ለመተንበይ አሰልጥኖታል። የጂፒቲ አይነት ሞዴሎች የሚቀጥለውን ቃል ይተነብያሉ። በራዕይ ውስጥ፣ እንደ SimCLR ያሉ ተቃራኒ ዘዴዎች ሞዴሉን ሁለት የተጨመሩ የአንድ ምስል ሰብሎችን ያሳያሉ እና የተለያዩ ምስሎችን እየገፉ አንድ ላይ መሆናቸውን ያስተምራሉ። እነዚህን በራስ የተሰሩ እንቆቅልሾችን መፍታት ሞዴሉ የበለጸጉ የትርጓሜ እና የመዋቅር ምስሎችን እንዲገነባ ያስገድደዋል። እነዚያ ውክልናዎች በትንሹ ወይም ምንም ምልክት የተደረገባቸው መረጃዎች በሌሉበት ወደ እውነተኛ የታችኛው ተፋሰስ ተግባራት በኃይል ያስተላልፋሉ።
ቴክኒካዊ ግንዛቤ
ዘዴው በነጻ የክትትል ምልክት እያመነጨ ነው። ጭምብል በተሞላበት ሞዴሊንግ ውስጥ ፣ የተደበቀው ቶከን መለያው ነው ፣ ስለሆነም ኪሳራ ያለ ምንም የሰው ማብራሪያ ሊሰላ ይችላል። በተነፃፃሪ ትምህርት፣ የአንድ ምስል ሁለት ጭማሪዎች 'አዎንታዊ ጥንዶች' ይመሰርታሉ፣ ይህም ቦታን በመክተት ላይ ተቀምጠው መቀመጥ አለባቸው፣ ሌሎች ምስሎች ደግሞ 'አሉታዊ' ተገፋፍተዋል። ያም ሆነ ይህ ሞዴሉ ከውሂቡ መዋቅር ብቻ በሚመነጩ መሰየሚያዎች ላይ ተመቻችቷል፣ አጠቃላይ ባህሪያትን በመማር በኋላ ላይ የብርሃን ማስተካከያ ብቻ የሚያስፈልጋቸው።
ስልታዊ ተጽእኖ
ግልጽ ውሳኔዎች
ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።
ወጪ እና በጀት
ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።
ቡድን እና የስራ ፍሰት
የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።
በራስ የሚተዳደር ትምህርት የወደፊት ዕጣ
በራስ የመመራት ትምህርት ከዛሬዎቹ የመሠረት ሞዴሎች በስተጀርባ ያለው ሞተር ነው፣ እና ያ ሚና የሚያድገው ብቻ ነው። ግልጽው አዝማሚያ ወደ መልቲሞዳል ቅድመ ስልጠና ሲሆን ነጠላ ሞዴል በራስ የሚተዳደር ዓላማዎችን በመጠቀም ከጽሑፍ፣ ምስሎች፣ ኦዲዮ እና ቪዲዮ በጋራ ይማራል። ተመራማሪዎች ምንም ዓይነት አሉታዊ ምሳሌዎች የማያስፈልጋቸው በራዕይ እና ራስን በራስ የማጣራት ቴክኒኮችን ከተቃራኒ ዘዴዎች አልፈው ወደ ጭምብል ትንበያ አቀራረቦች እየገፉ ነው። ከፍተኛ ጥራት ያለው ምልክት የተደረገበት መረጃ ማነቆው እንደመሆኑ መጠን ጠቃሚ መዋቅርን በቀጥታ ከተሰየሙ ያልተሰየሙ ዥረቶች መማር AIን የመጠን ማዕከላዊ ስትራቴጂ ሆኖ ይቆያል።
የእውነተኛ-ዓለም አተገባበር
BERT ቋንቋን በመማር የተሸሸጉ ቃላትን በመተንበይ፣ከዚያም ለፍለጋ፣ ስሜት ወይም ለጥያቄ መልስ የተስተካከለ
ሲምሲኤልአር የምስል መቀየሪያን ባልተሰየሙ ፎቶዎች ላይ ቀድሞ በማሰልጠን በኋላ በጣም ጥቂት በሆኑ መለያዎች መመደብ ይችላል።
የጂፒቲ አይነት ሞዴሎች በግዙፉ የፅሁፍ ኮርፖራ ላይ ቀጣዩን ቶከን ደጋግመው በመተንበይ መጻፍ ይማራሉ
የንግግር ሞዴሎች ወደ ግልባጭ ከመላመዳቸው በፊት በጥሬው ያልተሰየመ ኦዲዮ (የተሸፈኑ የድምፅ ክፍሎችን መተንበይ) ቀድመው የሰለጠኑ ናቸው።
አደጋዎች እና የጥበቃ መንገዶች
የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።
የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።
የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.
የትግበራ ፍኖተ ካርታ
የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።
ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።
አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።
በራስ የመመራት ትምህርት የሚረዳበት እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ክትትል የሚደረግበት ትምህርት
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Self-Supervised Learning?
በራስ ቁጥጥር የሚደረግ ትምህርት መልሱ በራሱ በመረጃው ውስጥ የተደበቀ ተግባር በመፍጠር መለያ በሌለው ውሂብ ላይ ሞዴሎችን ያሠለጥናል። ዘመናዊ ቋንቋ እና ራዕይ ፋውንዴሽን ሞዴሎች የሰው መለያ ሰሪዎች ሳይኖሩበት ከጥሬው ኢንተርኔት እንዴት እንደሚማሩ ነው።
መማር 'ራስን የሚቆጣጠር' የሚያደርገው ምንድን ነው?
በራስ ቁጥጥር የሚደረግ ትምህርት መልሱ በመረጃው ውስጥ የተደበቀበት የማስመሰል ተግባር ይፈጥራል፣ ስለዚህ የሰው መለያ መስጠት አያስፈልግም።
ለምንድነው በራስ የመመራት ትምህርት ለመሠረት ሞዴሎች በጣም ጠቃሚ የሆነው?
የክትትል ምልክቱ ከራሱ ከመረጃው ስለሚመጣ፣ ሞዴሎች ከድሩ ላይ እጅግ ግዙፍ በሆነ መለያ በሌለው ኮርፖራ ላይ ቀድመው ሊሰለጥኑ ይችላሉ።
ከራስ-ክትትል ቅድመ-ስልጠና በኋላ ብዙውን ጊዜ ቀጥሎ ምን ይሆናል?
ቅድመ ስልጠና በጥሩ ሁኔታ የሚተላለፉ አጠቃላይ ውክልናዎችን ይገነባል፣ ስለዚህ ለተወሰኑ ተግባራት በተሰየመው መረጃ ላይ የብርሃን ማስተካከያ ብቻ ያስፈልጋል።
የጂፒቲ አይነት ሞዴል በራሱ ቁጥጥር የሚደረግበት ተግባር ከ BERT እንዴት ይለያል?
የጂፒቲ አይነት ሞዴሎች የሚቀጥለውን ማስመሰያ በቅደም ተከተል ለመተንበይ የሰለጠኑ ናቸው፣ BERT ደግሞ በግራ እና በቀኝ አውድ ሁለቱንም ጭንብል ቶከኖችን ይተነብያል።