ወረቀት የኤልኤልኤም ወኪሎች የተሰረዘ እውቀትን በመሳሪያዎች መልሰው ማግኘት እንደሚችሉ ያስጠነቅቃል

ምን ተፈጠረ

የarXiv ወረቀት ውጫዊ መሳሪያዎችን ሊጠሩ ለሚችሉ የቋንቋ-ሞዴል ወኪሎች የተነደፈውን የኤጀንቲክ መሣሪያ አለመማርን ያስተዋውቃል። ጸሃፊዎቹ ተለምዷዊ አለመማር ተወካዩ በድር ፍለጋ፣ ሰርስሮ ወይም ዳታቤዝ ፍለጋ ተመሳሳዩን መረጃ እንዳያገኝ ሳይከለክለው የአንድን ሞዴል ቀጥተኛ መረጃ እንዲያስታውስ ሊያግደው ይችላል።

ወረቀቱ በመሳሪያ መካከለኛ መልሶ ማግኛ ብሎ የሚጠራውን ውድቀት ሁነታ ይገልጻል። በተለመደው የቋንቋ ሞዴል፣ አለመማር ብዙውን ጊዜ የሚገመገመው ሞዴሉ አሁንም የተመደበውን ኢላማ ከመለኪያዎቹ ማስታወስ ይችል እንደሆነ በመሞከር ነው። ደራሲዎቹ ይህ ግምገማ መልሱ በመሳሪያ ጥሪዎች እና በውጫዊ ምልከታዎች ላይ ሊመሰረት ለሚችል ወኪል ያልተሟላ ነው ብለው ይከራከራሉ። እንደዚህ አይነት ወኪል ኢላማውን ከማህደረ ትውስታ መግለጽ ይሳነዋል ነገር ግን ተመሳሳዩን መረጃ በውጫዊ ምንጭ ሰርስሮ ያወጣል። ልዩነቱ አስፈላጊ ነው ምክንያቱም የሚታይ መልስ የአምሳያው ውስጣዊ ምላሽ በሚቀየርበት ጊዜ እንኳን ሊገኝ ይችላል. በዚያ ቅንብር፣ ተግባራቶቹን ሳይገመግም ሞዴሉን መገምገም ዒላማው የተመለሰበትን መንገድ ሊያመልጥ ይችላል።

የታቀደው ዘዴ, ኤጀንቲክ መሳሪያ አለመማር, ሁለት ደረጃዎች አሉት. በመጀመሪያ፣ ስርዓቱ በቀጥታ ማስታወስን ለማፈን የታሰበ የፓራሜትሪክ እውቀትን ተግባራዊ ያደርጋል። ሁለተኛ፣ የትራክ-ደረጃ የማጠናከሪያ ትምህርትን በመሳሪያ በተጨመሩ አካባቢዎች ውስጥ ይጠቀማል። በወረቀቱ ረቂቅ መሰረት፣ ይህ ደረጃ ሁለቱንም ዒላማ ፈላጊ መሳሪያ ባህሪ እና በመጨረሻው መልስ መፍሰስን ያስቀጣል። ግቡ በአምሳያ ክብደት ላይ በሚደረጉ ለውጦች ብቻ ሳይሆን በተወካዩ ድርጊቶች ማገገምን መቀነስ ነው። ይህ የተወካዩን ተከታታይ ውሳኔዎች ያለመማር ችግር አካል ያደርገዋል፣ መረጃን የመፈለግ ምርጫን እና የተገኘ ቁሳቁስ ወደ ምላሽ የሚካተትበትን መንገድ ጨምሮ።

ደራሲዎቹ በተለያዩ የቋንቋ-ሞዴል አርክቴክቸር በ RWKU እና MUSE ላይ የተደረጉትን ያልተማሩ መለኪያዎችን ሪፖርት አድርገዋል። ዘዴው የተመደበውን ኢላማ በመርሳት እና መገኘት ያለበትን እውቀት ለማግኘት መደበኛ አገልግሎትን በማቆየት መካከል የተሻለ ሚዛን ያስገኛል ይላሉ። የቀረበው ምንጭ የቁጥር ውጤቶች፣ የሞዴል ስሞች፣ የሥልጠና ወጪዎች፣ የመነሻ መስመር ንጽጽሮች ወይም የተመሰሉትን መሳሪያዎች ዝርዝር አያቀርብም ስለዚህ የተዘገበው ማሻሻያ ጥንካሬ እና ስፋት ከአብስትራክት ብቻ ሊገመገም አይችልም። እነዚያ ግድፈቶች ውጤቱን በተሻለ መልኩ የተረዳው እንደ የምርምር ፕሮፖዛል ሪፖርት ከተደረጉ ሙከራዎች ጋር ነው፣ ይልቁንም አቀራረቡ በተሰማሩ ስርዓቶች ላይ የተረጋገጠ መሆኑን ከማስረጃነት ይልቅ።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ወረቀቱ የቋንቋ ሞዴሎችን ከውጭ መሳሪያዎች ጋር የሚያጣምሩ ስርዓቶች ተግባራዊ የደህንነት እና የግላዊነት ችግርን አጉልቶ ያሳያል። አንድ ወኪል አሁንም ዒላማውን በዙሪያው ባሉ መሳሪያዎች ማግኘት ወይም እንደገና መገንባት ከቻለ ዕውቀትን ከአምሳያ መለኪያዎች ማስወገድ በቂ ላይሆን ይችላል።

ግኝቱ አስፈላጊ ነው ምክንያቱም የመሣሪያ መዳረሻ የኤአይአይ ሲስተም አንድን ነገር የረሳው ምን ማለት እንደሆነ ስለሚለውጥ ነው። አንድ ሞዴል ከአሁን በኋላ አንድን መረጃ በቀጥታ መክተት ወይም ማባዛት አይችልም፣ ነገር ግን ሙሉ ወኪል አሁንም የተገናኘ ዳታቤዝ በመፈለግ፣ በማምጣት ወይም በመጠየቅ ሊያወጣው ይችላል። ግላዊ፣ የባለቤትነት ወይም በሌላ መንገድ የተገደበ መረጃን ለሚይዙ ሥርዓቶች፣ የሚመለከተው የግምገማ ክፍል በተናጥል ካለው ሞዴል ይልቅ የሙሉ ወኪል የሥራ ሂደት ሊሆን ይችላል። ይህ ሰፋ ያለ እይታ የአምሳያ መለኪያዎችን እንደ ብቸኛው ምንጭ ከመመልከት ይልቅ መልስ ሊሰጥ በሚችል አጠቃላይ መንገድ ውስጥ ያለውን መረጃ ይከተላል።

ልዩነቱ ድርጅቶች ስረዛን ወይም የማስወገድን የይገባኛል ጥያቄዎችን እንዴት እንደሚተረጉሙም አንድምታ አለው። አንድ ጥያቄ አንድ ወኪል አንድ የተወሰነ ኢላማ እንዳያመርት ለመከላከል የታቀደ ከሆነ የሞዴል መለኪያዎችን ማሻሻል ብቻ አማራጭ መንገድ ክፍት ሊተው ይችላል። ወረቀቱ ማንኛውም የተዘረጋ ስርዓት በዚህ መንገድ አለመሳካቱን አላረጋገጠም፣ ነገር ግን የወኪል መሳሪያዎች ያልተማረ አሰራርን የሚያበላሹ መሆናቸውን ለመፈተሽ ተጨባጭ የግምገማ ፍሬም ይሰጣል። ያ ፍሬም ሞዴሉ የሚያስታውሰውን ለውጥ ከተሰበሰበው ስርዓት አሁንም ሊያገኘው ከሚችለው ለውጥ ለመለየት ይረዳል። እንዲሁም ተጠቃሚዎች በትክክል ሊያዩት ከሚችሉት ባህሪ ጋር የተቆራኘ የማስወገድ የይገባኛል ጥያቄ ወሰን ያቆያል።

በታቀደው ዓላማ ውስጥ አስቸጋሪ የምህንድስና ንግድ አለ። ተወካዩ መያዝ ስላለበት መረጃ ጥያቄዎችን እንዲመልስ መሳሪያ መጠቀም ብዙ ጊዜ አስፈላጊ ነው። ብዙ መሳሪያ መፈለግን መቅጣት ጠቃሚ ባህሪን ሊጎዳ ይችላል፣ በጣም ትንሽ መቀጣት ደግሞ የተረሳውን ኢላማ መልሶ እንዲያገኝ ሊያደርግ ይችላል። የወረቀቱ የተገለጸው ዕውቀትን የመጠበቅ ዓላማ ይህንን የንግድ ልውውጥ ግልፅ ያደርገዋል፣ ነገር ግን ምንጩ አቀራረቡ አሻሚ ጥያቄዎችን፣ ቀጥተኛ ያልሆኑ መጠይቆችን ወይም ተደራቢ መረጃዎችን የያዙ መሳሪያዎችን እንዴት በጥሩ ሁኔታ እንደሚይዝ አላሳየም። ህጋዊ ሆኖ የሚቆየውን የመሳሪያውን አጠቃቀም መደገፉን በሚቀጥልበት ጊዜ ጠቃሚ ዘዴ ያልተፈለገ መንገድን መገደብ አለበት, ይህም ሚዛን ከአብስትራክት ብቻ ሊገመት የማይችል ነው.

ቀጥሎ ምን እንደሚታይ

ዋናው ጥያቄ የተዘገበው ዘዴ ከወረቀት አስመሳይ አካባቢዎች እና መመዘኛዎች በላይ ነው ወይ የሚለው ነው። የታለመው መረጃ፣ የመሳሪያ አወቃቀሮች፣ የሞዴል አርክቴክቸር፣ የተለኩ የንግድ ልውውጦች እና አቀራረቡ ህጋዊ የመሳሪያ አጠቃቀምን ሳያስተጓጉል በአስተማማኝ ሁኔታ እንደሚሰራ የበለጠ ዝርዝር ያስፈልጋል።

ሙሉ ወረቀቱ እንደ ስኬታማ መርሳት ምን እንደሆነ ግልጽ ማድረግ አለበት. አስፈላጊ ዝርዝሮች ግምገማ ትክክለኛ ዒላማ መባዛት ብቻ ወይም ደግሞ ገለጻዎች፣ ቀጥተኛ ያልሆኑ መልሶች እና ባለብዙ እርከኖች መልሶ ግንባታን ያረጋግጣል። እንዲሁም ስልቱ የተከለከለውን ኢላማ መፈለግን ከህጋዊ ተዛማጅነት ያለው እውቀትን መልሶ ማግኘት እንዴት እንደሚለይ ማሳየት አለበት፣ ምክንያቱም ያ ልዩነት አሰራሩ ተግባራዊ መሆን አለመቻሉን ይወስናል። የግምገማ ዲዛይኑ እንደ አርዕስተ ዜናው ውጤት አስፈላጊ ይሆናል፡ ጠባብ ፈተና የተለየ ምላሽ መዘጋቱን ሊያሳይ ይችላል ዋናው መረጃ በሌላ መንገድ ሊደረስበት እንደማይችል ሳያሳይ። ግልጽ ትርጓሜዎች የተዘገበው በመርሳት እና በመገልገያ መካከል ያለውን ሚዛን ለመተርጎም ቀላል ያደርገዋል።

ማባዛት አስፈላጊ ይሆናል ምክንያቱም የተዘገቡት ሙከራዎች RWKU እና MUSE እና በመሳሪያ የተጨመሩ አካባቢዎችን ስለሚጠቀሙ ነው። አንባቢዎች ከተለያዩ የመሳሪያ ዓይነቶች፣ የመመለሻ ስርዓቶች፣ የውሂብ ጎታዎች እና የሞዴል ቤተሰቦች ጋር ፈተናዎችን ከደራሲው የሥልጠና ዝግጅት ውጪ ከተደረጉ ግምገማዎች ጋር መፈለግ አለባቸው። ረቂቁ ኮድ፣ አከባቢዎች ወይም የሰለጠኑ ሞዴሎች መኖራቸውን አይገልጽም፣ ስለዚህ መራባት በአሁኑ ጊዜ አይታወቅም። ገለልተኛ ሙከራ ዘዴው በተለየ መንገድ የተመሰሉት መሳሪያዎች መረጃን በሚያጋልጡበት መንገድ ላይ ወይም በዙሪያው ያለው ስርዓት በተለየ ሁኔታ ሲዋቀር ገደቦቹ ውጤታማ መሆናቸውን ለማወቅ ይረዳል። ያ ንጽጽር ከሌለ የአቀራረብ አጠቃላይነት ክፍት ጥያቄ ሆኖ ይቆያል።

ወደፊት የሚደረጉ ግምገማዎች ሁለቱንም የደህንነት እና የፍጆታ አገልግሎቶችን ከረዥም ወኪል አቅጣጫዎች በላይ መለካት አለባቸው። በአጭር ሙከራዎች ውስጥ ቀጥታ መፍሰስን የሚከለክለው ስርዓት ማቀድ፣ እንደገና መሞከር፣ ብዙ መሳሪያዎችን መጥራት ወይም ከፊል ምልከታዎችን ሲያጣምር የተለየ ባህሪ ሊኖረው ይችላል። ምንጩ በተጨማሪም ኤጀንቲክ Tool Unlearning ወደ መሳሪያ ኢንዴክሶች ወይም የውሂብ ጎታዎች የተገለበጡትን መረጃዎች እራሱ ማስተናገድ ይችል እንደሆነ እና በዙሪያቸው ያሉ ስርዓቶቻቸውን ሳያሰለጥኑ በተሰማሩ ወኪሎች ላይ ሊተገበር ይችል እንደሆነ ክፍት ያደርገዋል። እነዚህ ጥያቄዎች የሞዴል-ደረጃ አሰራርን ማገገም ከሚቻልበት ሰፊ አካባቢ ጋር ያገናኛሉ. የተሳካ ሠርቶ ማሳያ ለምን እንደሚያስፈልገው ተወካዩ ሊገልጥ ያልፈለገውን እና ምን ጠቃሚ መረጃዎችን ማግኘቱን እንደቀጠለ ይጠቁማሉ።

ተዛማጅ መመሪያዎች እና ጥያቄዎች