Nini kilitokea
MarkTechPost inaripoti kwamba Keenable AI ilitoa NEEDLE, alama ya chanzo huria ya kutathmini API za utafutaji kwenye wavuti zinazotumiwa na mawakala wa AI. Seti zake za hoja huzalishwa upya kutoka kwa vyanzo vipya vya umma badala ya kusasishwa mapema, na hoja za habari hujengwa upya kila saa na fedha, hoja za wanazuoni, za kisheria na za kina hujengwa upya kila siku.
MarkTechPost inaripoti kuwa Keenable AI ina SINDANO ya chanzo huria, ambayo jina lake linarejelea Habari, Kila Siku, Mtaalamu, Mkia Mrefu, na Tathmini ya Kisheria. Alama hiyo inalenga mifumo ya utafutaji inayotumiwa na mawakala wa AI, ambapo muundo unaweza kutoa maswali yanayorudiwa na kutegemea mada, vijisehemu na viwango kabla ya kuamua kama utaleta ukurasa. Muundo mkuu ni kuzuia seti ya maswali yasiyobadilika kabisa. Kulingana na ripoti hiyo, maswali ya habari yanatolewa upya kila saa kutoka kwa takriban milisho 124 iliyoratibiwa ya RSS na Mitindo ya Google. Hoja za fedha, za wanazuoni, za kisheria na zisizo za kawaida hutolewa upya kila siku kutoka kwa vyanzo vikiwemo SEC XBRL, Wikidata, GLEIF, arXiv, Europe PMC, CourtListener, eCFR, na matoleo ya umma ya mawakala.
MarkTechPost inaripoti kuwa LLM hubadilisha vipengee vya chanzo kuwa maswali, huku ukaguzi wa mashine ukitumika kugundua kama hoja yenyewe inatoa jibu. Kigezo kinajumuisha aina tano tofauti za kazi. Habari na utafutaji wa kina hupimwa kwa ubora wa cheo; vipimo vya fedha kama ukweli ulioombwa unaonekana ndani ya vijisehemu vitano vikuu; na utafutaji wa wasomi na wa kisheria huchukuliwa kama kazi za kipengee zinazojulikana zinazolengwa kwa kulinganisha vitambulisho. Nakala hiyo inasema kuunganisha kwa chanzo-wazi ni zana ya mstari wa amri ya Python yenye kutoa na kuendesha amri ndogo, inaweza kuendeshwa kwenye kompyuta ya mkononi au kwa ushirikiano unaoendelea, na inahitaji ufunguo wa OpenRouter wa kuhukumu pamoja na ufunguo wa API kwa kila injini ya utafutaji iliyojaribiwa.
Kwa kila swali, MarkTechPost inasema NEEDLE hutuma maandishi sawa ya hoja kwa API 15 za utafutaji chini ya itifaki moja. Simu hupigwa moja baada ya nyingine, hivyo basi kuruhusu asilimia ya kusubiri kulinganishwa bila upakiaji unaofanana. Tathmini hutumia cheo, mada na vijisehemu vya kila injini; kurasa haziletwi, na matokeo hayajaorodheshwa tena. Ushahidi umepunguzwa hadi herufi 2,000, na hakimu haonyeshwi jina la injini. Kulingana na ripoti hiyo, Vitendo vya umma vya GitHub huendesha na kuendeshwa kwa kila kisanii kwenye mkusanyiko wa data wa Hugging Face ni sehemu ya mbinu ya uzalishaji wa mradi, ingawa rasilimali hizo hazijathibitishwa kivyake katika nyenzo zinazotolewa.
Maelezo ya chanzo: marktechpost.com ↗
Kwa nini ni muhimu
Kigezo kimeundwa kushughulikia udhaifu katika tathmini za utafutaji tuli: mfumo wa AI unaweza kukariri maswali na majibu yaliyochapishwa, au kupata ufunguo wa majibu ya umma badala ya kutafuta. NEEDLE pia inalinganisha kila injini na dari ya majaribio kulingana na matokeo ya pamoja yaliyorejeshwa na watoa huduma wote waliojaribiwa.
inashughulikia shida ya vitendo katika kupima utaftaji wa AI. Tathmini tuli zinaweza kuwa na taarifa kidogo wakati wanamitindo wamekariri maswali, majibu yanapopachikwa katika data ya mafunzo, au wakati wakala anaweza kufikia faili ya majibu inayopatikana kwa umma. Seti ya hoja iliyosasishwa kila mara hufanya njia hizo za mkato kuwa ngumu, angalau kimsingi. MarkTechPost inalinganisha mbinu na tathmini zingine za moja kwa moja kama vile LiveBench, LiveCodeBench, na SWE-bench-Live, lakini nakala iliyotolewa haiashirii kwa kujitegemea jinsi mbinu ya NEEDLE inalinganishwa na miradi hiyo.
Kipimo cha sehemu ya ndani cha NEEDLE kinaweza kuwa muhimu kwa sababu alama ya chini inaweza kuwa na sababu tofauti. MarkTechPost inaripoti kuwa alama hiyo inachanganya matokeo ya injini zote zilizorejeshwa kwa hoja, maagizo ambayo yaliunganisha mkusanyiko kwa umuhimu, na kuitumia kuunda dari ya majaribio inayoitwa "mwisho." Pengo kubwa kati ya injini ya mtu binafsi na dari hiyo inapendekeza kuwa nyenzo husika ilitolewa na angalau mtoa huduma mmoja lakini haikuonyeshwa au kuwekwa vizuri na injini hiyo. Upeo dhaifu unapendekeza kuwa watoa huduma waliojaribiwa kwa pamoja walishindwa kupata ushahidi dhabiti. Hii ni tofauti ya uchunguzi badala ya uthibitisho wa ubora wa jumla wa utafutaji.
Matokeo yaliyoripotiwa yanaonyesha kuwa utendaji unatofautiana sana kulingana na kazi. Kwa kipindi cha siku saba kinachoisha Agosti 28, MarkTechPost inaripoti alama za fedha za 0.910 za Exa, 0.872 za Keenable, 0.871 za Perplexity, na 0.847 za Google, dhidi ya alama za mwisho za 0.965. Alama za wasomi zilianzia 0.774 kwa Keenable hadi 0.310 kwa Tavily, dhidi ya 0.869. Deep-tail iliripotiwa kuwa aina ngumu zaidi: Exa ilifikia 0.557 ya mwisho, Keenable 0.470, na Bing 0.199. Takwimu hizi ni madai kutoka kwa duka, sio vipimo vilivyothibitishwa kwa kujitegemea.
Mbinu shirikishi: Jinsi Inavyofanya Kazi Kweli
Chunguza teknolojia msingi nyuma ya ukuzaji huu kwa maingiliano.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Nini cha kutazama baadaye
Chanzo kilichotolewa hakithibitishi hazina, dashibodi, vizalia vya programu ya mkusanyiko wa data au alama zilizoripotiwa. Uendeshaji wa siku zijazo unapaswa kuonyesha kama mchakato wa chanzo-hai cha utaendelea kuzalishwa tena, iwe sehemu yake ya ndani ya mkutano inatofautisha kwa njia nzuri mapungufu ya urejeshaji na mapungufu ya nafasi, na jinsi matokeo yanavyobadilika watoa huduma wa utafutaji wanaposasisha faharasa na API zao.
Suala la kwanza la kutazama ni reproducibility. MarkTechPost inaripoti kwamba msimbo wa NEEDLE umetolewa chini ya leseni ya MIT na kwamba mitiririko ya hoja inaweza kuundwa upya, lakini chanzo kilichotolewa hakijumuishi ukaguzi huru wa nambari, ratiba ya kumeza chanzo, ukaguzi wa uvujaji, vidokezo vya hakimu, au vizalia vilivyochapishwa. Watafiti na watoa huduma za utafutaji watahitaji kubaini kama kukimbia upya kunatoa muundo sawa wa hoja na kama mabadiliko katika milisho ya umma au sajili yanarekodiwa kwa uwazi vya kutosha kwa ukaguzi wa baadaye.
Suala la pili ni ikiwa dari "ya mwisho" inatafsiriwa kwa uangalifu. Hupima matokeo bora zaidi yanayopatikana na injini zinazoshiriki, sio ulimwengu kamili wa kurasa za wavuti husika. Kwa hivyo inaweza kufichua makosa yaliyoshirikiwa ndani ya watoa huduma waliojaribiwa na dirisha la chanzo. MarkTechPost pia inaripoti kwamba mwendeshaji wa NEEDLE, Keenable, anashindana katika alama. Hiyo inazua mzozo ambao haubatilishi mbinu yenyewe, lakini hufanya msimbo wazi, kumbukumbu kamili, kuhukumu bila macho, na marudio huru kuwa muhimu sana.
Ucheleweshaji pia utafaa kwa wasanidi mawakala. MarkTechPost inaripoti Keenable-realtime katika wastani wa milisekunde 193 na milisekunde 284 kwa asilimia 95, ikilinganishwa na Exa katika milisekunde 1,876 na 2,955 na Bing kwa 2,767 na milisekunde 9,381 kwa sekunde sawa na sekunde. Kifungu kinasema kwamba simu ambazo hazikufanikiwa hazijumuishwi kwenye sampuli za muda wa kusubiri, kwa hivyo tathmini za siku zijazo zinapaswa kuchunguza viwango vya kushindwa, vikomo vya viwango, mabadiliko ya huduma, na ubadilishanaji kati ya kasi na ubora wa kurejesha pamoja na asilimia hizi.