ወረቀት የኤ ወኪል ማህደረ ትውስታ እንዳይዘገይ ለማድረግ የተስተካከሉ ውሎችን ያቀርባል

ምን ተፈጠረ

ተመራማሪዎቹ ማይክል ዉ እና አርኪሜዲስ ካኔዶ በኤ.ፒ.አይ ስህተቶች ላይ የተከሰቱትን የመልሶ ማግኛ ጥቆማዎችን በየክፍሎች የሚሸጎጡ የፕሮቶኮል ንብርብር ለ AI ወኪሎች “የማሳሳት ኮንትራቶችን” አቅርበዋል ። ኮንትራቶቹ ደንበኞቻቸው ልክ ሆነው የሚቆዩትን ከአገልጋይ ወገን የውሂብ ተንሸራታች በኋላ የቆዩ ግቤቶችን እንዲያስወግዱ የስሪት ማህተሞችን እና የመሸጎጫ ፍንጮችን ከእያንዳንዱ አስተያየት ጋር ያያይዙታል።

ወረቀቱ የኤፒአይ ስህተቶች ካጋጠማቸው በኋላ የመልሶ ማግኛ ጥቆማዎችን የሚይዙ AI ወኪሎችን ይመለከታል። ዋናው አሳሳቢው ነገር በአንድ ክፍል ውስጥ የሰራው አስተያየት ከአገልጋይ ወገን ውሂብ ከተቀየረ በኋላ የተሳሳተ ሊሆን ይችላል። በእያንዳንዱ የትዕይንት ክፍል ላይ ማስተካከያን እንደገና ማግኘት ያንን የውድቀት ሁነታ ሊያስቀር ይችላል፣ ነገር ግን ፀሐፊዎቹ ከመሸጎጥ የሚገኘውን ቁጠባ ይመልሳል ይላሉ። ያቀረቡት የመፍትሄ ሃሳብ ውድቅ ኮንትራት ተብሎ የሚጠራው መሸጎጫውን እንደ ያልተለየ ብሎክ ከመመልከት ይልቅ በእያንዳንዱ የመልሶ ማግኛ ጥቆማ ላይ የፕሮቶኮል ሜታዳታን ይጨምራል።

ኮንትራቱ የስሪት ማህተሞችን እና የመሸጎጫ ፍንጮችን ከአስተያየት ጥቆማዎች ጋር ያያይዛል። ደንበኛው አሁንም ልክ የሆኑ ግቤቶችን እያቆየ ከተለወጠው ውሂብ ጋር የተገናኙ ግቤቶችን ማስወጣት ይችላል። ደራሲዎቹ የተገኙትን ቁጠባዎች ወደ ትክክለኛነት ይለያዩታል - ከተንሸራታች ክስተት በኋላ ትክክል የሆኑት የተሸጎጡ የአስተያየት ጥቆማዎች ክፍል - እና ተገዢነት - አንድ እቅድ አውጪ በመጀመሪያ ሙከራው ላይ በትክክል የሚተገበረውን ክፍልፋይ። ወረቀቱ ትክክለኛነት የሚወሰነው በፕሮቶኮሉ ነው እና ከአቅራቢዎች ነጻ ነው፣ ተገዢነቱ ግን በእቅድ አውጪው ሞዴል ላይ የተመሰረተ ነው።

ግምገማው ሰባት ሞዴሎችን፣ ሶስት የአገልግሎት መንገዶችን፣ ሁለት ጎራዎችን እና በግምት 9,400 ክፍሎችን ሸፍኗል። ረቂቅ ዘገባው የረድፍ-ደረጃ ውድቅ ተገዢነትን በ0 እና 66.7 በመቶ መካከል በአምሳዮቹ መካከል እንደጨመረ ዘግቧል። ሶስት ሞዴሎች በ 55.6 እና 66.7 ነጥብ መካከል ትርፍ አግኝተዋል. ከሰባቱ ሞዴሎች አራቱ ከ29% እስከ 33% የሚሆነውን የመነሻ መስመር ማስመሰያ ዋጋ አግኝተዋል። ወረቀቱ እንዲሁ በክፍል 4.1 በተገለጸው የረድፍ-ደረጃ አፈ ቃል ስር ፍፁም የማስወጣት ትክክለኛነትን 1.00 ዘግቧል።

ውጤቶቹ በአምሳያው በጣም ተለዋውጠዋል። ደራሲዎቹ ለClaude Haiku 4.5 የመጀመሪያ ሙከራ ማክበርን 100% በተመሳሳይ የሽቦ ባይት፣ ለClaude Sonnet 5 ከ11% ወይም ከዚያ በታች ጋር ሲነፃፀሩ የሶኔትን ባህሪ ከግብአት-ሼማ ጥበቃ ጋር ያቆራኙታል፡ ከዋናው ጥያቄ የሌሉ መስኮችን የሚጨምሩ ጥገናዎችን አለመቀበል። በአንፃሩ፣ የሰንጠረዥ ደረጃ ዋጋ መጓደል በጋራ የሚገኙ ግቤቶችን አወደመ እና ከድህረ-ተንሸራታች የመጀመሪያ ሙከራ ዋጋዎችን ከሰባቱ ሞዴሎች አምስቱ ወደ 0% ቀንሷል። ኮንትራቱ በምላሽ ክፍያ ላይ 15% ጨምሯል, እና ደራሲዎቹ በግምገማው ውስጥ ዜሮ የኮንትራት ውድቀቶችን ዘግበዋል.

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ወረቀቱ ዘላቂ የኤጀንሲ ማህደረ ትውስታን እንደ አስተማማኝነት እና የውጤታማነት ችግር ያዘጋጃል፡ ጥገናዎችን በእያንዳንዱ ጊዜ ማስላት የቆየ ምክርን ያስወግዳል ነገር ግን መሸጎጫ ሊያቀርብ የሚችለውን የማስመሰያ እና የሞዴል ጥሪ ቁጠባዎችን ይከፍላል። የተዘገበው ውጤቶቹ እንደሚያመለክቱት ማህደረ ትውስታን በረድፍ ደረጃ ማበላሸት ጠቃሚ የሆኑ የመሸጎጫ ምዝግቦችን ማቆየት ይችላል፣ ምንም እንኳን ግኝቶቹ ከአንድ ቅድመ-ህትመት ግምገማ የመጡ እና የምርት አፈፃፀምን ባያሳዩም።

ተግባራዊው ጉዳይ አንድ ወኪል ማስታወስ መቻሉ ብቻ አይደለም። ውጫዊ አገልግሎት በሚቀየርበት ጊዜ ማህደረ ትውስታው ደህንነቱ የተጠበቀ እንደሆነ ይቆያል። የተሸጎጠ መልሶ ማግኛ ጥቆማ ተደጋጋሚ ማመዛዘንን፣ የማስመሰያ አጠቃቀምን እና የሞዴል ጥሪዎችን ሊቀንስ ይችላል፣ ነገር ግን በዙሪያው ያለው ኤፒአይ ወይም መረጃ ከተንሸራተተ ያው አቋራጭ ድምጽ አልባ ውድቀት ሊሆን ይችላል። የታቀደው ፕሮቶኮል ትኩስነት መረጃን በአገልግሎቱ እና በደንበኛው መካከል ያለውን መስተጋብር አካል ያደርገዋል።

የወረቀቱ ትክክለኛነት እና ተገዢነት መካከል ያለው ልዩነት ጠቃሚ ነው ምክንያቱም ሁለት የተለያዩ የውድቀት ምንጮችን ይለያል. ፕሮቶኮል የትኛዎቹ የተሸጎጡ ግቤቶች መጣል እንዳለባቸው ለይቶ ማወቅ ይችላል፣ነገር ግን አንድ ወኪል አሁንም ትክክለኛ የአስተያየት ጥቆማን ተግባራዊ ማድረግ ላይችል ይችላል። በሀይኩ 4.5 እና በሶኔት 5 መካከል ያለው የተዘገበው ተቃርኖ የሚያሳየው የፕሮቶኮል ዲዛይን ብቻውን እቅድ አውጪ ከተጠበቀው ማህደረ ትውስታ ተጠቃሚ መሆን አለመቻሉን ላይወስን ይችላል። የሞዴል ባህሪ የተለየ የአሠራር ገደብ ሆኖ ይቆያል።

ሪፖርት የተደረገው የረድፍ-ደረጃ ውጤቶች ብዙ የመልሶ ማግኛ ጥቆማዎችን አንድ ላይ ለሚያከማቹ ስርዓቶች የንድፍ መርህ ይጠቁማሉ፡ ፕሮቶኮሉ ሲለይ የተጎዱትን ግቤቶች ብቻ ዋጋ ያጥፉ። የሰንጠረዥ ደረጃ ንፅፅር በወረቀቱ ፈተናዎች ውስጥ አስፈላጊ ነው ምክንያቱም ሰፊ ተቀባይነት ማግኘቱ ያልተዛመዱ ግቤቶችን በማስወገድ እና ከድህረ-ድሪፍት የመጀመሪያ ሙከራ በአብዛኛዎቹ የተሞከሩ ሞዴሎች ላይ ዜሮ ዋጋ ስላስገኘ። ያ ግኝቱ፣ ከተደጋገመ፣ ለረጅም ጊዜ ለሚሰሩ ወኪሎች ወጪ እና አስተማማኝነት አስፈላጊ ነው።

የውጤታማነት ጥያቄውም የተገደበ ነው። ደራሲዎቹ ከ29 በመቶ እስከ 33 በመቶ የሚሆነውን የመነሻ ማስመሰያ ዋጋ በአራቱም ሞዴሎች ላይ ማገገሙን ሪፖርት አድርገዋል፣ በሁሉም ሰባት ላይ አይደሉም፣ እና ፕሮቶኮሉ 15% የምላሽ ጭነቶችን ይጨምራል። ምንጩ እነዚያ ወጪዎች ወደ መዘግየት፣ የመተላለፊያ ይዘት፣ የመሠረተ ልማት ወጪ ወይም በምርት ላይ በተጠቃሚ የሚታይ አስተማማኝነት እንዴት እንደሚተረጎሙ አይገልጽም። እንዲሁም አብስትራክቱ የተሞከሩት ጎራዎች ወይም የአገልግሎት ዱካዎች በተሰማሩ ወኪሎች የሚጠቀሙባቸውን የኤፒአይዎች ክልል እንደሚወክሉ አያረጋግጥም።

ይህ በራሱ የተረጋገጠ የምርት ውጤት ሳይሆን ቅድመ ህትመት ነው። ምንጩ የግምገማውን መጠን እና የርእስ ዜና ውጤቶችን ይለያል ነገርግን ከሰባቱ ሞዴሎች መካከል አምስቱን ማንነት፣ የሁለቱን ጎራዎች ስም፣ ትክክለኛ ተንሸራታች ሁኔታዎችን ወይም እርግጠኛ ያልሆኑ ግምቶችን አላቀረበም። ፍፁም የማስወጣት ትክክለኛነት ከረድፍ ደረጃ ኦራክል ጋር የተሳሰረ ነው፣ስለዚህ የተሰማሩ ደንበኞች ምንጊዜም የትኛዎቹ መደዳዎች እንደቆዩ እንደሚያውቁ እንደማስረጃ መነበብ የለበትም።

ቀጥሎ ምን እንደሚታይ

ዋናዎቹ ክፍት ጥያቄዎች ፕሮቶኮሉ ከብዙ እቅድ አውጪዎች፣ አገልግሎቶች፣ ጎራዎች እና የገሃዱ ዓለም ተንሳፋፊ ቅጦች ጋር ይሰራል ወይ የሚለው እና የ15% የምላሽ ክፍያ ጭነት በተሰማሩ ስርዓቶች ውስጥ ተቀባይነት ያለው መሆን አለመሆኑ ናቸው። ተጨማሪ ምርመራ የወረቀቱን ኦራክልን መሰረት ያደረገ የማስወጣት ግምገማ፣ ከተፈተኑት ሰባት መካከል የማይታወቁ ሞዴሎች እና በተሰየሙት Claude ሞዴሎች መካከል ያለውን ትልቅ የተጣጣመ ክፍተት መንስኤዎችን መመርመር አለበት።

ማባዛት አገልግሎቶቹ ንድፎችን፣ ትርጓሜዎችን ወይም መረጃዎችን በተለያየ ዋጋ ሲቀይሩ የስሪት-ማህተም ትክክለኛነት የሚወስን መሆኑን ማረጋገጥ አለበት። ወረቀቱ በእያንዳንዱ ሞዴል እና የአገልግሎት ዱካ እና ዜሮ የኮንትራት ውድቀቶች ላይ ተመሳሳይ ትክክለኛነት ውጤቶችን ዘግቧል፣ ነገር ግን ምንጩ ውጤቱ ምን ያህል በስፋት እንደሚተገበር ለማወቅ የተንሸራተቱ ክስተቶችን መጠን በበቂ ሁኔታ አይገልጽም።

ሞዴል-ጎን ተገዢነት የተለየ ምርመራ ይገባዋል። በClaude Haiku 4.5 እና 11% ወይም ከዚያ በታች በClaude Sonnet 5 ላይ በ100% የመጀመሪያ ሙከራ መካከል ያለው የተዘገበው ክፍተት ተወካዮች ተመሳሳይ የፕሮቶኮል ጭነትን በተለየ መንገድ ሊተረጉሙ እንደሚችሉ ይጠቁማል። ወደፊት የሚደረጉ ግምገማዎች ችግሩ ለተጠቀሱት ሞዴሎች፣ ለመቀስቀስ ወይም ለመንደፍ፣ ወይም በእቅድ አውጪዎች መካከል በመዋቅራዊ ያልተለመዱ ጥገናዎችን ላለመቀበል ሰፋ ያለ መሆን አለመሆኑን ግልጽ ማድረግ አለባቸው።

የዋጋ ልውውጡ ከቶከኖች በላይ መለካት አለበት። 15% የምላሽ-ክፍያ ጭማሪ ትንሽ ወይም ቁሳቁስ ሊሆን ይችላል እንደ የትዕይንት ክፍል ርዝመት፣ የአውታረ መረብ ሁኔታዎች እና የተሸጎጡ ጥቆማዎች ለምን ያህል ጊዜ እንደገና ጥቅም ላይ እንደሚውሉ። ምንጩ ለአራት ሞዴሎች ማስመሰያ-ወጪ መልሶ ማግኛን ሪፖርት አድርጓል ነገር ግን የቆይታ፣ የመተላለፊያ ይዘት፣ የገንዘብ ወይም የውድቀት መጠን ውጤቶችን አይሰጥም፣ ስለዚህ እነዚያ ለፈጻሚዎች የማይታወቁ ትርጉም ያላቸው ሆነው ይቆያሉ።

የግምገማው የረድፍ-ደረጃ ኦራክል ሌላ መፈተሽ ያለበት ነጥብ ነው። የተጎዳው ረድፍ በሚታወቅበት ጊዜ በአፍ ውስጥ ያለው ትክክለኛ ትክክለኛነት የታሰበውን የጥራጥሬነት ባህሪ ያሳያል ፣ ግን ትክክለኛ ደንበኛ ከተራ የአገልግሎት ምልክቶች ትክክለኛውን ረድፍ መለየት እንደሚችል አልተረጋገጠም። ስለ አውቶማቲክ ማወቂያ፣ የውሸት አሉታዊ እና የውሸት አወንታዊ ማስረጃዎች የተዘገበው ጥቅማጥቅም ከሙከራ ውቅር ውጭ ምን ያህል እንደሚተርፍ ይወስናሉ።

በመጨረሻም, ስራው በተመሳሳይ ተግባራት እና ተንሸራታች ሁኔታዎች ውስጥ ቀጣይነት ያለው የወኪል ሁኔታ እና የማስታወስ ትክክለኛነትን ከሌሎች አቀራረቦች ጋር ማወዳደር አለበት. ምንጩ የፕሮቶኮል ፕሮፖዛል እና ሪፖርት የተደረገ ማመሳከሪያን ያስቀምጣል፣ ነገር ግን የማሰማራት ተገኝነትን፣ ጉዲፈቻን፣ ገለልተኛ ማባዛትን ወይም ካልተገለጹ አማራጮች ብልጫ አላስቀመጠም።

ተዛማጅ መመሪያዎች እና ጥያቄዎች