Kini o ṣẹlẹ
Awọn oniwadi ṣe afihan Aṣoju BioCheck, eto orisun AI ti a ṣe apẹrẹ lati ṣayẹwo otitọ-ṣayẹwo awọn iṣeduro biomedical nipa wiwa awọn iwe imọ-jinlẹ ni PubMed, ṣiṣe ayẹwo awọn ẹri ti a gba pada, ati ṣiṣe awọn ijabọ iṣeto. Wọn tun dabaa Iṣapejuwe Afihan Ibaṣepọ Ẹgbẹ Ẹri-Ilẹ, ọna ikẹkọ-ikunrisi ti a pinnu lati san ere wiwa ti o munadoko ati lilo ẹri lakoko ijiya awọn hallucinations.
Iwe naa, ti a fi silẹ si arXiv ni Oṣu Kẹjọ. Eto naa jẹ apẹrẹ lati lọ kọja aami asọtẹlẹ ti o ya sọtọ nipa apapọ ipari kan pẹlu ẹri imọ-jinlẹ ti a gba pada ati itupalẹ ti n ṣalaye bii ẹri yẹn ṣe ṣe atilẹyin abajade. Awọn onkọwe ṣe eyi gẹgẹbi idahun si aropin kan ninu awọn eto imupadabọ-pada to wa ati awọn eto wiwa aṣoju, eyiti wọn sọ nigbagbogbo tẹle ilana imupada-lẹhinna-ṣayẹwo ṣugbọn pese ijinle alaye to lopin.
Gẹgẹbi orisun naa, Aṣoju BioCheck n wa awọn iwe imọ-jinlẹ didara giga ni PubMed ati lo awọn oniṣẹ wiwa Boolean. Iwe naa ṣe apejuwe ihamọ agbegbe yii gẹgẹbi ọna lati mu didara ati ibaramu ti ẹri fun awọn iṣeduro biomedical. Orisun naa ko pese alaye ti o to lati pinnu bi eto ṣe n kapa awọn iwe ti o nsọnu lati PubMed, awọn awari ilodi, iṣẹ ti a yọkuro, ẹri ti a ko tẹjade, tabi awọn ẹtọ ti o nilo awọn orisun kọja awọn nkan iwadii biomedical.
Awọn onkọwe naa tun ṣafihan Ipilẹṣẹ Ipilẹ Ẹri Iṣalaye Ilana ibatan Ẹgbẹ, tabi EG-GRPO. Ọna ẹkọ imuduro yii nlo ẹsan-iṣẹ-ṣiṣe kan ti a pinnu lati ṣe iwuri fun ihuwasi wiwa ilọsiwaju ati imupadabọ ẹri didara giga lakoko ti o jẹ ijiya awọn hallucinations. Ninu awọn adanwo ti a royin nipasẹ awọn onkọwe, Aṣoju BioCheck pẹlu EG-GRPO imudara aami-isọtẹlẹ asọtẹlẹ lori ipilẹ SciFact nipasẹ 9.95% ni akawe pẹlu awoṣe ipilẹ Qwen3.5-4B. Iwe naa tun ṣe ijabọ 3.7% ilosoke ninu Dimegilio didara ẹri ati idinku 19.63% ni oṣuwọn hallucination ẹri. Iwọnyi jẹ awọn abajade ala-ilẹ ti a royin; orisun ko ni idaniloju wọn ni ominira.
Ṣiṣan iṣẹ ṣiṣe ti a dabaa ṣe itọju wiwa, lilo ẹri, ati alaye bi awọn apakan ti a ti sopọ ti iṣẹ ṣiṣe-ṣayẹwo otitọ. Ijabọ ti o yọrisi jẹ ipinnu lati jẹ ki ọna lati ẹtọ ibeere biomedical kan si ipari ti o han diẹ sii fun atunyẹwo. Itọkasi yẹn n fun ọna naa ni abajade ti o gbooro ju aami ti o duro, lakoko ti iwe ti ara rẹ sọ awọn opin ti o ṣii ni ṣiṣi bi ṣiṣan iṣẹ ṣe deede nigbati ẹri ti o wa ko pe, rogbodiyan, tabi ni ita aaye wiwa rẹ.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Ṣiṣayẹwo otitọ-iṣe biomedical nbeere diẹ sii ju yiyan aami ti o ni atilẹyin tabi tako lọ. Ti awọn abajade ti a royin ba duro kọja igbelewọn iwadi naa, eto kan ti o ṣalaye ipari rẹ ti o fihan ẹri lẹhin rẹ le jẹ ki awọn sọwedowo alaye ilera adaṣe diẹ sii wulo fun awọn oniwadi, awọn oniroyin, awọn oniwosan, ati gbogbo eniyan. Iwe naa jẹ abajade iwadi, kii ṣe ẹri pe eto naa ti ṣetan fun imuṣiṣẹ iṣoogun.
Iṣoro ilowo jẹ pataki nitori awọn iṣeduro biomedical le ni ipa lori awọn ipinnu ilera, awọn pataki iwadii, ati oye gbogbo eniyan. Ipinsi igboro le tọju idi ti eto kan fi de idahun rẹ tabi boya ẹri ti o tọka si ṣe atilẹyin fun gaan. Ijabọ ti a ṣeto le fun oluyẹwo eniyan ni ohun elo diẹ sii lati ṣayẹwo, pẹlu ẹtọ, iwe ti a gba pada, ati ero ti o so ẹri pọ si ipari.
Awọn abajade ti o royin jẹ iwulo nitori pe wọn fojusi awọn ipo ikuna ọtọtọ meji: gbigba aami-ipari ti ko tọ ati tọka tabi ṣapejuwe ẹri aito. Awọn onkọwe sọ pe eto naa ṣe ilọsiwaju deede asọtẹlẹ mejeeji ati didara ẹri lakoko ti o dinku hallucination ẹri. Ti awọn ilọsiwaju naa ba lagbara, iṣẹ naa le sọ fun apẹrẹ ti awọn oluranlọwọ iwadii ati awọn irinṣẹ ṣayẹwo-otitọ ti o tọju didara imupadabọ ati alaye gẹgẹbi apakan ti iṣẹ-ṣiṣe dipo bi awọn ẹya igbejade yiyan.
Pataki yẹ ki o tọju ni ibamu si ẹri naa. Eyi jẹ iwe-tẹlẹ arXiv ẹyọkan, ati pe orisun n ṣapejuwe awọn adanwo kuku ju iṣẹ ti a fi ranṣẹ tabi ṣiṣan iṣẹ ile-iwosan ti a fọwọsi. Iṣe ti o dara julọ lori SciFact kii yoo funrararẹ fihan pe aṣoju le ṣe ayẹwo imọran iṣoogun lailewu, ṣe akopọ awọn iwe ti o dagbasoke, ṣe idanimọ aiṣedeede atẹjade, tabi yanju awọn ariyanjiyan laarin awọn ikẹkọ. Abojuto eniyan jẹ pataki, ni pataki nibiti ijabọ aṣiṣe tabi aipe le ni agba itọju tabi awọn ipinnu ilera gbogbogbo.
Iwọn agbara iwe nitorina wa ninu ibatan laarin idahun eto kan ati ẹri ti a gbekalẹ pẹlu rẹ. Ijabọ kan le jẹ ki atunyẹwo ni alaye diẹ sii nigbati ohun elo atilẹyin rẹ ba wulo ati pe ero rẹ han gbangba. Boya anfani yẹn ni imuse da lori igbẹkẹle igbapada ati alaye papọ, nitorinaa awọn ilọsiwaju ala ti o royin ni oye ti o dara julọ bi abajade iwadii iwuri dipo ojutu pipe si igbelewọn alaye biomedical.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Kini lati wo tókàn
Awọn ibeere akọkọ jẹ boya awọn anfani ti a royin ṣe gbogbogbo kọja SciFact, boya igbapada PubMed-nikan ti to fun oriṣiriṣi awọn ibeere biomedical, ati boya awọn oluyẹwo eniyan ṣe idajọ awọn ijabọ ti ipilẹṣẹ bi deede ati iwulo. Orisun naa ko ṣe agbekalẹ imuṣiṣẹ ile-iwosan, ẹda ominira, idanwo ifojusọna, tabi aabo lodi si awọn aṣiṣe ti o ṣẹlẹ nipasẹ awọn iwe ti ko pe tabi ikọlura.
Bọtini igbesẹ ti nbọ ni igbelewọn lori awọn ipilẹ data ṣiṣayẹwo otitọ-iṣe biomedical ati lori awọn ẹtọ ti o yatọ ni idiju, pataki, didara ẹri, ati iwọn ariyanjiyan. Ko ṣe kedere lati orisun boya awọn anfani ti o royin jẹ pato si SciFact, si awoṣe ipilẹ ti o yan, tabi si wiwa pato ati apẹrẹ ere. Atunse olominira yoo ṣe iranlọwọ lati fi idi rẹ mulẹ boya EG-GRPO ṣe ilọsiwaju iṣẹ nigbagbogbo kuku ju iṣelọpọ anfani kan-pataki kan.
Awọn oniwadi ati awọn olumulo yẹ ki o tun ṣayẹwo didara awọn ijabọ funrara wọn, kii ṣe awọn ikun apapọ nikan. Awọn idanwo pataki yoo pẹlu boya awọn itọkasi nitootọ kan awọn iṣeduro ti a ṣe, boya aṣoju ṣe iyatọ ibaramu lati idi, boya o sọ aidaniloju ni deede, ati boya o ṣe idanimọ nigbati ẹri ti o wa ko to. Orisun naa ko sọ bi igbagbogbo eto naa ṣe yẹra, bii o ṣe n ṣe awọn iwadii ikọlura, tabi bii awọn ipinnu rẹ ṣe ṣe afiwe pẹlu awọn idajọ lati ọdọ awọn amoye biomedical.
Iwe naa fi ọpọlọpọ awọn ibeere imuṣiṣẹ silẹ ṣii. Orisun naa ko ṣe ijabọ lilo ile-iwosan, idanwo ifojusọna, iṣayẹwo ominira, awọn alaye iwọle, lairi, idiyele iṣẹ, tabi awọn aabo fun awọn ipinnu ti o ga. Ko tun fi idi rẹ mulẹ pe agbegbe PubMed ti pari fun gbogbo ibeere biomedical tabi pe eto naa le ṣe iṣiro igbẹkẹle fun awọn ifasilẹyin ati awọn awari tuntun ti a tẹjade. Ẹri ọjọ iwaju yẹ ki o fihan boya ọna kika ijabọ naa ṣe ilọsiwaju awọn ipinnu eniyan ati boya oṣuwọn hallucination ti o royin ni isalẹ ti eto naa wa labẹ atako, aibikita, ati awọn iṣeduro iyipada ni iyara.
Awọn metiriki ti a royin yẹ ki o gbero lẹgbẹẹ awọn ibeere ti a ko yanju wọnyi. Idanwo siwaju sii le ṣe alaye boya awọn ilọsiwaju ninu awọn akole, didara ẹri, ati oṣuwọn hallucination badọgba si awọn ijabọ ti awọn oluyẹwo le rii daju daradara. Titi ti ẹri naa yoo wa, orisun n ṣe atilẹyin iwulo ni ọna wiwa-ati-iroyin lakoko ti o fi igbẹkẹle ti o gbooro sii, agbegbe, ati ibaramu to wulo ṣii.