የቋንቋ AI መመሪያ

የተገላቢጦሽ እርግማን በኤል.ኤም.ኤም

የተገላቢጦሽ እርግማን 'A is B'ን የሚማር የቋንቋ ሞዴል 'B is A' የሚል መልስ የማይሰጥበት አስገራሚ ውድቀት ሁነታ ነው። LLMs እውነታዎችን እንደ አንድ አቅጣጫዊ ማኅበራት እንጂ እንደ ሲሜትሪክ ዕውቀት እንደሚያከማች ያሳያል።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

ጥልቅ ዳይቭ

እ.ኤ.አ. በ2023 በቤርግሉንድ እና ባልደረቦቻቸው የተመዘገበው የተገላቢጦሽ እርግማን እንደሚያሳየው ሞዴል 'የቶም ክሩዝ እናት ሜሪ ሊ ፒፌፈር' ላይ ከሰለጠነ ብዙውን ጊዜ 'የሜሪ ሊ ፒፌፈር ልጅ ማን ነው?' ተብሎ ሲጠየቅ አይሳካም ። ምንም እንኳን መልሱ ምክንያታዊ ቢሆንም. ውጤቱ በሁሉም የሞዴል መጠኖች እና በመቶዎች በሚቆጠሩ እውነታዎች ላይ በጥሩ ሁኔታ ከተጣራ በኋላም ይቀጥላል። የማህደረ ትውስታ ክፍተት አይደለም: ሞዴሉ መረጃውን አይቷል, ግን በአንድ ቅደም ተከተል ብቻ ነው. ስልጠና በመረጃው ውስጥ ባለው ትክክለኛ የቃላት ቅደም ተከተል ላይ ቀጣይ-ቶከን ትንበያን ስለሚያመቻች፣ ከሀ እስከ ለ ያለው ስታቲስቲክስ አገናኝ በቀጥታ ከ B ወደ ሀ አገናኝ አይፈጥርም። ሚዛኑ ብቻውን ተለዋዋጭ እና በእውነታዎች ላይ የሰው መሰል አመክንዮዎችን ማግኘቱ።

ቴክኒካዊ ግንዛቤ

ትራንስፎርመሮች የሚማሩት የቀደመውን አውድ በመተንበይ ቀጣዩን ቶከን በመተንበይ ነው፣ስለዚህ ቀስ በቀስ ማሻሻያ የአቅጣጫ ካርታውን 'A ከዚያም B' ያጠናክራል ነገር ግን ይህ ቅደም ተከተል በስልጠና ላይ ካልመጣ በስተቀር 'B ከዚያም A' ሳይነካ ይተውታል። ሁለቱ አቅጣጫዎች በተለየ የክብደት ጎዳናዎች ውስጥ ይኖራሉ. ተመራማሪዎች የሎግ ፕሮባቢሊቲዎችን በመለካት ይህንን አረጋግጠዋል፡ ወደፊት ያለውን እውነታ ካወቁ በኋላ፣ የተገላቢጦሽ መግለጫው ዕድል ከመነሻ መስመር አጠገብ ቀርቷል፣ ይህም በስልጠና ወቅት ምንም አይነት የተዘዋዋሪ አመክንዮአዊ ተገላቢጦሽ አለመከሰቱ ነው።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

በኤል.ኤም.ኤም.ዎች ውስጥ የተገላቢጦሽ እርግማን የወደፊት ዕጣ

በጥናት ላይ ያሉ ማቃለያዎች የሁለት አቅጣጫ መረጃ መጨመር (የተገላቢጦሽ ሀረጎችን መጨመር)፣ በሁለቱም አቅጣጫዎች ማስመሰያዎችን የሚተነብዩ የስልጠና አላማዎች እና በተጨማደዱ ክብደቶች ላይ ከመታመን ይልቅ በተመጣጣኝ መልኩ እውነታዎችን የሚመስሉ ሰርስሮ ማውጣትን ያጠቃልላል። አንዳንድ አዳዲስ አርክቴክቸር እና የተገላቢጦሽ ቅድመ-ስልጠና ሙከራዎች ክፍተቱን ይቀንሳሉ። እርግማኑ እንዲቀንስ ጠብቅ ነገር ግን አይጠፋም, ምክንያቱም በሚቀጥለው-ቶከን ትምህርት እና በተጨባጭ ዓለም ግንኙነቶች መካከል ባለው የተመጣጠነ መዋቅር መካከል ያለውን ጥልቅ አለመግባባት ስለሚያጋልጥ።

የእውነተኛ-ዓለም አተገባበር

ቻትቦት የታዋቂ ሰውን ወላጅ በትክክል ይገልፃል ነገር ግን የዚያን ወላጅ ታዋቂ ልጅ ስም ለመጥራት ሲጠየቅ አልተሳካም።

አንድ ሞዴል 'ዘጠነኛው ፕሬዚዳንት ዊልያም ሄንሪ ሃሪሰን ነበር' እያለ ሲናገር ግን 'የየትኛው ቁጥር ፕሬዝዳንት ዊልያም ሄንሪ ሃሪሰን' በሚለው ላይ ተሰናክሏል።

የተግባር-ወደ-ገላጭ ካርታን የተማረ የኮድ ረዳት የተግባር ስሙን ከመግለጫው ብቻ መልሶ ማግኘት አይችልም።

በ'Drug X treats Condition Y' ላይ የሰለጠነው የህክምና QA ስርዓት ሁኔታ Yን ምን እንደሚያክም ሲጠየቅ መድሀኒት Xን መዘርዘር አልቻለም።

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

1

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

2

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

3

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

4

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Reversal Curse in LLMs quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ChatGPT እና LLMs

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Reversal Curse in LLMs?

የተገላቢጦሽ እርግማን 'A is B'ን የሚማር የቋንቋ ሞዴል 'B is A' የሚል መልስ የማይሰጥበት አስገራሚ ውድቀት ሁነታ ነው። LLMs እውነታዎችን እንደ አንድ አቅጣጫዊ ማኅበራት እንጂ እንደ ሲሜትሪክ ዕውቀት እንደሚያከማች ያሳያል።

የተገላቢጦሽ እርግማን ምን ይገልፃል?

የተገላቢጦሽ እርግማኑ ሁለቱ አመክንዮአዊ እኩያ ቢሆኑም ‹B is A› ​​በ‘A is B’ ላይ ከሥልጠና አለመገመቱ ነው።

ለምንድነው የተገላቢጦሽ እርግማን በሜካኒካል?

ስልጠና የሚቀጥለውን ማስመሰያ ትንበያ በትክክለኛው ቅደም ተከተል ስለሚያሻሽል ፣የተገላቢጦሽ ካርታው በስልጠና ላይ ካልታየ በስተቀር በጭራሽ አይጠናከርም።

የሞዴል መጠን መጨመር የተገላቢጦሽ እርግማንን በአስተማማኝ ሁኔታ ያስተካክላል?

የመጀመሪያው ጥናት በተለያዩ የሞዴል መጠኖች ውስጥ የተያዘውን እርግማን አረጋግጧል፣ ይህም ሚዛን ብቻውን እንደማይፈታ ያሳያል።

የተገላቢጦሹን እርግማን በቀጥታ የሚያነጣጥረው የትኛው ቅነሳ ነው?

ባለሁለት አቅጣጫ መረጃ መጨመር ሞዴሉን ለሁለቱም 'A is B' እና 'B is A' ያጋልጣል፣ ይህም የጎደለውን የተገላቢጦሽ ማህበር ይፈጥራል።

ተመራማሪዎች ሞዴሉ በተዘዋዋሪ የተገላቢጦሹን እውነታ አለመማሩን እንዴት አረጋገጡ?

የተገላቢጦሽ መግለጫው ዕድል ከሥልጠና በኋላ ከመነሻው አጠገብ ቀርቷል፣ ይህም ምንም ዓይነት አመክንዮአዊ ተገላቢጦሽ እንዳልተደረገ ያሳያል።

ተዛማጅ መመሪያዎች