TrustDABench yana gano LLMs galibi suna samar da bayanan da aka tsara mara tallafi

Me ya faru

Takardar arXiv tana gabatar da TrustDABench, ma'auni don gwada ko manyan nau'ikan harshe za su iya dogaro da ingantaccen bayanan da aka tsara kamar maƙunsar bayanai da fayilolin CSV. Marubutan sun ƙirƙiri 2,340 tabbataccen shari'o'in rikice-rikice na ɗan adam daga nau'ikan canje-canje 19 kuma sun kimanta LLM guda takwas. Takardar ta ba da rahoton cewa samfuran galibi suna samar da amsoshi masu inganci amma ba su da tallafi, sun rasa shaidu masu karo da juna kuma sun canza shawararsu lokacin da aka canza tsarin tebur ko alaƙar tebur.

Babban da'awar takardar ita ce, ingantaccen tsarin bincike-bayanan da aka tsara yana buƙatar fiye da aiwatar da jerin ayyuka. Yana bayyana rikon amana a kusa da ingantacciyar hanya daga tambayar mai amfani zuwa bayanan da suka dace. Wannan tsararru yana haifar da gwaje-gwaje guda biyu: ko LLM ya ƙi amsa ko ya nemi bayani lokacin da babu ingantacciyar hanyar shaida, da kuma ko yana kiyaye ingantaccen bincike lokacin da aka bayyana shaida iri ɗaya a cikin wani nau'i na tebur daban. Madogararsa ta gabatar da waɗannan gwaje-gwaje a matsayin ma'aunin ma'auni na aminci da ƙarfi.

An gina TrustDABench ta farawa tare da duba-hanyar shaida da kuma amfani da ma'aikatan lalata 19. Marubutan sun ce an aiwatar da waɗancan ma'aikatan ta hanyar tsarin tsara tsararrun Agent-LLM, wanda ya samar da lokuta 2,340 waɗanda mutane suka tabbatar. Ƙididdigar ba ta jera duk masu aiki 19 ba ko bayyana ƙa'idar tabbatarwa dalla-dalla. Ya tabbatar da cewa an ƙirƙiri maƙasudin don gabatar da canje-canje masu sarrafawa zuwa ayyukan tsararrun bayanai maimakon tattara tambayoyi da amsoshi na yau da kullun. Marubutan sun kimanta wakilai takwas na LLMs, amma ƙayyadaddun bayanan baya bayyana duk tsarin takwas ko bayyana abubuwan da suka faɗa, samun damar kayan aiki ko yanayin aiwatarwa.

Abubuwan da aka samo kanun labarai suna da rauni aiki akan duka bangarorin biyu. Mafi kyawun sakamakon dogaro da aka ruwaito shine matsakaicin MRS na 24.21%, wanda GPT-5.5 ya samu. Mafi kyawun sakamako mai ƙarfi da aka ruwaito shine matsakaicin ASR na 9.10%, wanda Claude-Sonnet-5 ya samu. Madogararsa ba ta ayyana maƙasudin ƙayyadaddun ƙayyadaddun bayanai ba, don haka ya kamata a tabbatar da ainihin lissafinsu da alkiblarsu a cikin cikakkiyar takarda kafin a gwada lambobi tare da sauran alamomi. Marubutan sun siffanta gazawar a matsayin tsari: ƙira ba sa iya gano shaidu masu karo da juna, galibi suna ci gaba ta hanyoyin bincike waɗanda ba za a iya aiwatarwa ba, kuma suna kula da canje-canjen da suka shafi iyakokin kallo ko alaƙar tebur.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Ana ƙara amfani da LLMs don fassara kasuwanci, kimiyya da bayanan gudanarwa, inda cikakkiyar amsa za ta iya ɓoye hanyar nazari mara inganci. TrustDABench yana mai da hankali kan ko ƙirar ta san lokacin da shaida ba ta isa ba kuma ko ta kai ga ƙarshe lokacin da aka wakilta daidai bayanai daban. Sakamakon da aka ruwaito ya nuna cewa ƙaddamar da ayyukan bincike-bincike na al'ada bazai nuna ingantaccen dalili akan teburi ba.

Batun mai amfani shine tazarar da ke tsakanin amsar da za a iya samarwa da amsar da bayanan ke goyan bayan. Ƙila ƙila samfurin zai iya bin jerin maƙunsar rubutu ko ayyukan tebur yayin farawa daga layuka mara kyau, yin watsi da sabani ko ketare dangantakar da shaidar ba ta inganta ba. A waɗancan lokuta, aiwatar da nasara ba zai ba da garantin ingantaccen ƙarshe ba. TrustDABench yana da sakamako saboda yana nufin wannan bambance-bambancen kai tsaye maimakon kula da duk wata amsa mai iya karantawa ko tsararru a matsayin shaidar dogaro.

Wannan yana da mahimmanci a duk inda mutane ke amfani da LLMs don taƙaitawa ko nazarin bayanan da aka tsara. Madogararsa ta musamman suna ba da maƙunsar bayanai, fayilolin CSV da sauran bayanan da aka tsara, amma ba ta daftarin aiki a wasu masana'antu ko ba da rahoton lahani na ainihi. Abubuwan da aka ba da rahoton gazawar maƙasudin sun gano matsalar bita mai amfani: masu amfani na iya buƙatar bincika ba kawai lamba ta ƙarshe ko bayani ba, har ma waɗanne bayanai, iyakoki na tebur da alaƙar ƙirar da aka yi amfani da su. Sakamakon takardar yana goyan bayan wannan taka tsantsan a matsayin ƙarshen bincike, ba a matsayin ma'aunin da aka tabbatar da kansa ba na kowane tsarin da aka tura.

Sakamakon kuma yana ƙalubalantar zato mai sauƙin ƙima. GPT-5.5 ya sami mafi ƙarfin da aka bayar da rahoton ƙimar aminci, yayin da Claude-Sonnet-5 ya sami mafi ƙarfin da aka bayar da rahoton ƙarfi; Ƙididdigar ba ta ce ko dai tsarin ya kasance mafi kyau a kan kowane aiki ba ko kuma ma'auni na auna hali iri ɗaya. Samfurin na iya zama mai ƙarfi a kan girma ɗaya yayin da ya kasance mai rauni akan wani. Mafi girman ma'anar, bisa ga takarda, shine ingantaccen ingantaccen tsarin bincike yana buƙatar tantance iyakoki-iyaka da kuma wakilci-bambance-bambancen tunani, ba kawai mafi girman iyawa akan daidaitattun ayyuka ba.

Abin kallo na gaba

Takardar ta yi nuni ga manyan al'amura guda biyu: mafi kyawun sanin iyakokin shaida da kuma dalilan da suka tsaya tsayin daka a cikin wakilcin tebur daban-daban. Majiyar ta ce akwai lambobi da bayanai, amma ba ta tabbatar da ko maƙasudin yana nuna ainihin bayanan bayanan duniya ba, yadda samfuran takwas ɗin suka kwatanta a cikin ɗaiɗaikun ɗaiɗaikun ayyuka, ko kuma raunin da aka ruwaito ya ci gaba bayan ingantawa. Ayyukan bin diddigin ya kamata su gwada bayanan bayanan waje, ayyukan aiki na aiki da halayen ƙirar bayan raguwa.

Abu na farko da za a kallo shine ko lambar maƙasudi da bayanai suna ba da damar haifuwa mai zaman kansa. Majiyar ta ce "Lambobi & Bayanai" suna samuwa, amma rubutun da aka kawo bai ƙunshi hanyar haɗin ma'ajiya ba, lasisin maƙasudi, tsarin ɗawainiya ko ma'anar maki. Waɗannan cikakkun bayanai zasu ƙayyade yadda masu bincike zasu iya bincika abubuwan cikin sauƙi, tabbatar da binciken ɗan adam kuma su fahimci abin da ƙimar MRS da ASR suke auna. Har sai an bincika wannan bayanin, ya kamata a kula da adadin da aka ruwaito a matsayin iƙirari daga wannan bugu ɗaya maimakon daidaita ƙididdigan aiki.

Tambaya ta biyu ita ce ingancin waje. TrustDABench yana ƙunshe da tabbatattun lamurra masu ruɗani da ɗan adam, amma taƙaitaccen bayanin bai faɗi yadda waɗannan al'amuran suka yi kama da ɓangarori na maƙunsar bayanai na ƙungiyoyi ba, haɓaka bututun bayanai ko nazarin da aka yi tare da kayan aikin waje. Hakanan baya bayar da rahoton ko sakamakon ya bambanta ta girman bayanai, yanki, matakin rashin fahimta ko nau'in dangantakar tebur. Ƙididdigar bin diddigin bayanan bayanai masu zaman kansu da kwararar aiki na gaskiya zai taimaka wajen tabbatar da ko tsarin gazawar da aka ruwaito sun keɓanta ga ma'auni ko gama gari cikin amfani mai amfani.

A ƙarshe, masu bincike da masu turawa yakamata su gwada ragewa maimakon ƙara ƙarin maki kawai. Takardar ta bayyana bayani, ƙi, gano rikice-rikice da kwanciyar hankali a cikin nau'ikan tebur a matsayin halaye masu mahimmanci, amma tushen ba ya ba da rahoton sa baki da ke inganta su. Matakai masu fa'ida na gaba zasu haɗa da kimanta bayyananniyar gano shaida, tsararren bincike na tsaka-tsaki, saɓani da bita na ɗan adam akan abubuwan da suka faru. Madogaran kuma ya buɗe yadda samfuran ke nunawa lokacin da bayanan ba su da amsa da gaske, lokacin da fassarori da yawa suka dace, ko kuma lokacin da mai amfani ya matsa wa tsarin don ci gaba duk da rashin tallafi.

Jagorori masu alaƙa & tambayoyin tambayoyi