ወረቀት በቶከን ደረጃ ላይ ቅዠቶችን ለመለየት ጊዜያዊ ዘዴን ሪፖርት ያደርጋል

ምን ተፈጠረ

አዲስ የarXiv ቅድመ ህትመት ቅዠቶችን እንደ ገለልተኛ የማስመሰያ ደረጃ ስህተቶች ሳይሆን እንደ ቅደም ተከተላቸው እንደ ርዝመቶች እንዲታዩ ሐሳብ አቅርቧል። ዘዴው ከተፈጠረው ጽሑፍ 33 ባህሪያትን ያጣምራል፣ የተፈጥሮ-ቋንቋ-መረማመጃ እና የቋንቋ-ሞዴል አስገራሚነት፣ ከዚያም በቅደም ተከተል ሞዴል ያስኬዳቸዋል። ወረቀቱ እንደዘገበው ባለሁለት አቅጣጫ ያለው GRU በRAGTruth በ10 ዘሮች ላይ 0.840 AUC እንደደረሰ፣ ይህም በገለልተኛ የሎጂስቲክ-ሪግሬሽን መነሻ መስመር ላይ ባለ 11-ነጥብ ትርፍ።

ምንጩ የ arXiv መዝገብ ነው "ጊዜያዊ የብዝሃ-ሲግናል ፊውዥን ለቶከን-ደረጃ ሃሉሲኔሽን" በIgor Itkin ተፃፈ እና በጁን 30, 2026 የገባው። ስለዚህ ፈልጎ ማግኘትን እንደ ቅደም ተከተላቸው መለያ አድርጎ ያስቀምጣቸዋል፡ እያንዳንዱ ማስመሰያ ውጤትን ከባህሪያት ዥረት ይቀበላል፣ ሞዴሉ ግን ከአጎራባች ቦታዎች መረጃን በመጠቀም ክፍተት የማይደገፍ ወይም የተሳሳተ መሆኑን ለመወሰን ይችላል።

የታቀደው የባህሪ ዥረት 33 ልኬቶች አሉት። እንደ አብስትራክቱ፣ እነዚያ ባህሪያት ፊውዝ የጽሑፍ ስታቲስቲክስ፣ የተፈጥሮ ቋንቋ-አስተሳሰብ እና የቋንቋ-ሞዴል አስገራሚነት። ፈላጊው የአምሳያው ውስጣዊ ማንቀሳቀሻዎችን ወይም ሌሎች የባለቤትነት ውስጣዊ ክፍሎችን አይጠቀምም. ወረቀቱ በሁለት አቅጣጫ የተዘጋ ተደጋጋሚ ክፍል በነዚያ ባህሪያት ላይ ይፈትሻል እና 10 ዘሮችን በመጠቀም በተቀባዩ የሚሰራ ባህሪ ከርቭ 0.840 በRAGTruth ዳታ ስብስብ ላይ ያለውን ቦታ ሪፖርት ያደርጋል። ያንን ውጤት ከገለልተኛ የሎጂስቲክ-ሪግሬሽን መነሻ መስመር ጋር በማነፃፀር ባለ 11-ነጥብ ማሻሻያ ሪፖርት ያደርጋል፣ ከዊልኮክሰን የተፈረመ የደረጃ ፈተና p-value 0.002።

ወረቀቱ በተጨማሪም የጊዜያዊ ቅደም ተከተል ዋጋን ከኃይለኛ ሞዴል ዋጋ ለመለየት የታቀዱ ቁጥጥር የሚደረግባቸው የመበስበስ ሙከራዎችን ዘግቧል። የእሱ አተረጓጎም አብዛኛው ትርፍ የሚገኘው ከሞዴል አቅም ይልቅ በጊዜያዊ መዋቅር ነው፡ በራስ መተማመን ያላቸው ቦታዎች ግልጽ ባልሆኑ ጎረቤት ቦታዎች ላይ ማስረጃዎችን በቅዠት ውስጥ ማስተላለፍ ይችላሉ። Mamba እና በትኩረት ላይ የተመሰረቱ ሞዴሎችን ጨምሮ ተመሳሳይ የ0.845 የአፈጻጸም ጣሪያ በተደጋጋሚ፣ በስቴት-ስፔስ እና ትኩረት አርክቴክቸር ሪፖርት ተደርጓል። አዘጋጆቹ ያንን ተደጋጋሚ ጣሪያ ተጠቅመው ገዳቢው የተመረጠው የባህሪ ስብስብ እንጂ የተለየ ተከታታይ አርክቴክቸር አይደለም ብለው ይከራከራሉ።

ምንጩ በተጨማሪ ማወቂያው የመነጨ ጽሑፍን እና የውጭ ምልክቶችን ብቻ ስለሚያነብ በዝግ ምንጭ ሞዴሎች በሚመነጨው ጽሑፍ ላይ ሊሠራ እንደሚችል ይናገራል። በተጨማሪም ማወቂያው ከስልጠና መረጃው ከሌሉ የቋንቋ ሞዴሎች ጽሑፍ ላይ መስራቱን እንደቀጠለ እና በAUC ከ 4% ያነሰ ኪሳራ እንዳለው ዘግቧል። እነዚህ በአንድ ቅድመ-ህትመት የተደረጉ የይገባኛል ጥያቄዎች ናቸው። የቀረበው ምንጭ የተገመገሙትን የሞዴል ስሞች፣ የውሂብ ስብስብ የግንባታ ዝርዝሮችን፣ የባቡር-ሙከራ ፕሮቶኮልን፣ የመነሻ ሂደትን፣ ትክክለኛነትን፣ ማስታወስን፣ ማስተካከልን፣ መዘግየትን ወይም የስህተት ምሳሌዎችን አይሰጥም። በግኝቶቹ ላይ ገለልተኛ ማረጋገጫም አያደርግም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

አቀራረቡ ወደ ሞዴል ውስጣዊ ግዛቶች ሳይገባ እንዲሰራ የተቀየሰ ነው, ይህም በተዘጋ ምንጭ ስርዓቶች ላይ ተፈጻሚነት ይኖረዋል. ሪፖርት የተደረገው ውጤት ከወረቀቱ የግምገማ መቼት ውጭ ከሆነ፣ በዳግም ማግኛ-የተጨመሩ መልሶች እና የድጋፍ ግምገማ ወይም የማረጋገጫ የስራ ፍሰቶችን አጠራጣሪ ክፍተቶችን ለመለየት ይረዳል። ውጤቱ የመጀመሪያ ነው፡ ምንጩ የarXiv ቅድመ-ህትመት ነው፣ እና የቀረበው መዝገብ ራሱን የቻለ ማባዛት ወይም የምርት አፈጻጸምን አያሳይም።

ተግባራዊ ጠቀሜታ የፈላጊው የቀረበው የመዳረሻ ሞዴል ነው። ብዙ የሞዴል-ክትትል ቴክኒኮች በውስጣዊ ውክልናዎች, የቶከን ፕሮባቢሊቲዎች ወይም ሌላ መረጃ ለአምሳያው ኦፕሬተር ብቻ ይወሰናል. በተፈጠረው ጽሁፍ እና ውጫዊ ምልክቶች ላይ የተመሰረተ ፈላጊ በመርህ ደረጃ ውስጣቸው በማይደረስበት ሞዴል ዙሪያ ሊቀመጥ ይችላል። ያ ሀሳቡ የተስተናገዱ የቋንቋ ሞዴሎችን ለሚጠቀሙ ድርጅቶች ጠቃሚ ያደርገዋል፣ ምንም እንኳን ምንጩ በቀጥታ አገልግሎት ውስጥ እንደተዋሃደ ወይም በምርት ትራፊክ መሞከሩን ባያሳይም።

በቅደም ተከተል ላይ የተመሰረተው ፍሬም እንዲሁ በወረቀቱ ንጽጽር ላይ ያለውን ትክክለኛ ውስንነት ይመለከታል፡ ተራ የሚመስለው ቶከን ረዘም ያለ የማይደገፍ የይገባኛል ጥያቄ አካል ሊሆን ይችላል። የአጎራባች ማስረጃዎችን መጠቀም ስርዓቱ ብዙ የተቆራረጡ የማስመሰያ ውጤቶች ዝርዝር ከማቅረብ ይልቅ ለግምገማ ምንባብ እንዲጠቁም ያስችለዋል። በዳግም ማግኛ-የተጨመረ የስራ ሂደት፣እንዲህ ዓይነቱ ምልክት ተጨማሪ ማስረጃዎችን ለመጠየቅ፣ለሰው መልስ ለመስጠት ወይም በጣም እርግጠኛ ያልሆነውን ጊዜ ለመግታት ሊያገለግል ይችላል። እነዚህ ከስልቱ የተገመቱ ሊሆኑ የሚችሉ አፕሊኬሽኖች እንጂ በምንጩ የታዩ ማሰማራቶች አይደሉም።

የዘገበው የAUC ማሻሻያ በተጠቀሰው ሙከራ ውስጥ ጎልቶ የሚታይ ነው ምክንያቱም መረጃን ማዘዝ የመስመር መነሻ መስመርን በትልቁ ፈላጊ ከመተካት የበለጠ ጠቃሚ ሊሆን እንደሚችል ይጠቁማል። የአርኪቴክቸር ጣሪያው እንደ የምርምር ግኝት ጠቃሚ ነው፡ የተለያዩ የሞዴል ክፍሎች ከተመሳሳይ ነጥብ አጠገብ ቢሰበሰቡ አቅም መጨመር ብቻ ቀሪዎቹን ስህተቶች ላያስተካክል ይችላል። የወረቀቱ የራሱ ማብራሪያ የተለየ ተከታታይ ሞዴል ችግሩን እንደሚፈታ ከመገመት ይልቅ እንደ የኢንቴልመንት ጥራት ወይም አስገራሚ ባህሪያት ያሉ የስር ምልክቶችን ለማሻሻል ይጠቁማል።

ገደቦቹ እኩል አስፈላጊ ናቸው. የ0.840 AUC የደረጃ አፈጻጸምን በየደረጃው ያጠቃልላል። ምን ያህል ቅዠቶች በተግባራዊ የማንቂያ ፍጥነት እንደሚያዙ፣ ስንት ትክክለኛ ምንባቦች በስህተት እንደሚጠቁሙ፣ ወይም የፈላጊው ውጤቶች እንደ ፕሮባቢሊቲዎች የተስተካከሉ መሆናቸውን አይገልጽም። RAGTruth እያንዳንዱን ርዕሰ ጉዳይ ወይም የመልስ ቅርፀት ላይወክል ይችላል። እዚህ ያለው ባለስልጣን ቁሳቁስ አንድ ነጠላ arXiv ቅድመ-ህትመት ስለሆነ ውጤቱ በራሱ በቀረበው መዝገብ አልተረጋገጠም። አንባቢዎች ግኝቱን ለቀጣይ ምርመራ እንደ ማስረጃ አድርገው ሊመለከቱት ይገባል እንጂ ቅዠትን መለየት መፈታቱን እንደ ማረጋገጫ አይደለም።

ቀጥሎ ምን እንደሚታይ

አስፈላጊዎቹ ቀጣይ ፈተናዎች ተጨማሪ የውሂብ ስብስቦች ላይ ማባዛት፣ በሁሉም ጎራዎች እና ሞዴል ቤተሰቦች ላይ የሚደረግ ግምገማ እና የውሸት አወንታዊ መለካት፣ ልኬት እና መዘግየት ናቸው። የወረቀቱ ረቂቅ የተገመገሙትን ሞዴሎች፣ የፈላጊው የክወና ገደብ፣ ትክክለኛነቱ ወይም ትዝታው፣ ወይም ማስረጃው ያልተሟላ፣ አሻሚ ወይም ተቃዋሚ ከሆነ አፈጻጸሙ እንዴት እንደሚቀየር አይገልጽም። እነዚህ ዝርዝሮች ዘዴው ጠቃሚ መከላከያ ወይም በዋናነት የቤንችማርክ ውጤት መሆኑን ይወስናሉ።

ማባዛት በወረቀቱ ትክክለኛ ፕሮቶኮል መጀመር እና ከዚያም ማስፋት አለበት። ተመራማሪዎች በበርካታ የቅዠት ዳታ ስብስቦች ላይ ውጤቶችን ሪፖርት ማድረግ፣ ጽሑፍን ለማፍለቅ እና ለመገምገም ጥቅም ላይ የዋሉትን የቋንቋ ሞዴሎች መመዝገብ እና ስሕተቶች የተለያዩ ውጤቶችን የሚያስከትሉባቸውን ጎራዎች መፈተሽ አለባቸው። ንጽጽር ቀላል የቃላት አነጋገር እና የመነሻ መስመሮችን፣ የተስተካከሉ ክላሲፋየሮችን እና መረጃው በሚገኝበት ጊዜ ሞዴል-ውስጣዊ መረጃን የሚጠቀሙ ዘዴዎችን ማካተት አለበት። ዋናው ጥያቄ የተዘገበው ትርፍ በውሂብ፣ በጄነሬተሮች እና በማብራሪያ ልምምዶች ላይ ካሉ ለውጦች ይተርፋል ወይ የሚለው ነው።

የክወና መለኪያዎች እንደ አጠቃላይ AUC አስፈላጊ ይሆናሉ። ወደፊት የሚደረጉ ግምገማዎች ትክክለኛነትን ማተም እና ማስታወስ አለባቸው። ሰፊ ክልሎችን የሚለይ ነገር ግን ጉዳት የሌለውን እርግጠኛ አለመሆንን ከተከተለ የውሸት መግለጫ መለየት የማይችል ጠቋሚ ለመጠቀም አስቸጋሪ ሊሆን ይችላል። ምንጩ ዘዴው ለዥረት ማወቂያ፣ ለድህረ-ትውልድ ግምገማ ወይም ለሁለቱም የታሰበ ስለመሆኑ አይገልጽም፣ ስለዚህ የማሰማራት መዘግየት እና ስርዓቱ ጣልቃ የሚገባበት ነጥብ አይታወቅም።

የጥንካሬ ሙከራ ያልተሟሉ የመልሶ ማግኛ ማስረጃዎችን፣ ተቃራኒ ምንጮችን፣ የተተረጎሙ የይገባኛል ጥያቄዎችን፣ ረጅም መልሶችን እና ሆን ተብሎ የተሰራ ጽሑፍን መመርመር አለበት። ጠቋሚው ውጫዊ ምልክቶችን ስለሚጠቀም የእነዚያ ምልክቶች ጥራት እና ነፃነት አፈፃፀሙን ሊቆጣጠር ይችላል። የቋንቋ ሞዴል ከተሰማራ በኋላ የአጻጻፍ ዘይቤውን፣ የመለኪያውን ወይም የስህተት ስልቱን ሊለውጥ ይችላል፣ ይህም በአሮጌ ውጤቶች ላይ የሰለጠነ ጠቋሚን ሊያዳክም ይችላል። ወረቀቱ በማይታዩ የቋንቋ ሞዴሎች ላይ ከ 4% ያነሰ የ AUC ኪሳራ ዘግቧል፣ ነገር ግን የቀረበው ረቂቅ የአምሳያው መከፋፈልን አይገልጽም ወይም ውጤቱ ወደማይታዩ ጎራዎች እና የመመለሻ ስርዓቶችን መለወጥ አለመሆኑን ያሳያል።

በመጨረሻም የወረቀቱ ተደጋጋሚ የአፈፃፀም ጣሪያ መመርመር አለበት. በሦስቱ የሲግናል ቤተሰቦች ውስጥ እውነተኛ ገደብ ሊያመለክት ይችላል፣ ወይም የውሂብ ስብስብን፣ መለያዎችን ወይም የሙከራ ንድፍን ሊያንጸባርቅ ይችላል። ሙሉ ወረቀቱ የቅዠት ስፔኖች እንዴት እንደሚለጠፉ፣ ማስረጃዎች እንዴት እንደሚመረጡ እና ከግምገማው ስብስብ ውስጥ ያለ ማንኛውም መረጃ ወደ ባህሪያቱ ሊገባ እንደሚችል ማብራራት አለበት። በእውነተኛ ተጠቃሚ-ተኮር መልሶች ላይ ገለልተኛ ትግበራዎች እና የወደፊት ሙከራዎች ከተጨማሪ የሕንፃ ግንባታ ምትክ የበለጠ ጠንካራ ማስረጃዎችን ይሰጣሉ። እስከዚያው ድረስ፣ በጣም የሚያስከተለው የማይታወቅ መርማሪው በተመዘገበው ቤንችማርክ ውስጥ ምሳሌዎችን ማስቀመጡ አይደለም፣ ነገር ግን ያልተደገፉ የሞዴል መግለጫዎች ተግባራዊ ጉዳት በሚፈጥሩ ቅንብሮች ውስጥ ውሳኔዎችን በአስተማማኝ ሁኔታ ማሻሻል መቻሉ ነው።

ተዛማጅ መመሪያዎች እና ጥያቄዎች