Kini o ṣẹlẹ
MarkTechPost ṣe ijabọ pe Keenable AI tu silẹ NEEDLE, ipilẹ orisun-ìmọ fun iṣiroyewo awọn API wiwa wẹẹbu ti awọn aṣoju AI lo. Awọn eto ibeere rẹ jẹ atunbi lati awọn orisun gbangba tuntun dipo ti o wa titi ilosiwaju, pẹlu awọn ibeere iroyin ti a tunkọ ni wakati ati inawo, ọmọwe, ofin, ati awọn ibeere iru-jinlẹ ti a tun tunkọ lojoojumọ.
MarkTechPost ṣe ijabọ pe Keenable AI ni Abẹrẹ ti o ṣii, ti orukọ rẹ tọka si Awọn iroyin, Lojoojumọ, Amoye, Deep-tail, ati Igbelewọn Ofin. Aṣepari naa jẹ ipinnu fun awọn ọna ṣiṣe wiwa nipasẹ awọn aṣoju AI, nibiti awoṣe kan le ṣe awọn ibeere leralera ati gbarale awọn akọle, snippets, ati awọn ipo ṣaaju ṣiṣe ipinnu boya lati mu oju-iwe kan wa. Apẹrẹ aarin ni lati yago fun ṣeto ibeere ti o wa titi ayeraye. Gẹgẹbi ijabọ naa, awọn ibeere iroyin jẹ atunbi ni gbogbo wakati lati aijọju awọn kikọ sii RSS 124 ati awọn aṣa Google. Isuna, ọmọ ile-iwe, ofin, ati awọn ibeere nkan ti o ṣọwọn jẹ atunbi lojoojumọ lati awọn orisun pẹlu SEC XBRL, Wikidata, GLEIF, arXiv, Yuroopu PMC, CourtListener, eCFR, ati awọn idasilẹ oluranlọwọ gbogbogbo.
MarkTechPost Ijabọ pe LLM kan ṣe iyipada awọn ohun orisun sinu awọn ibeere, lakoko ti a lo ayẹwo ẹrọ lati rii boya ibeere funrararẹ funni ni idahun. Awọn ala ni wiwa marun ti o yatọ iṣẹ-ṣiṣe orisi. Awọn iroyin ati awọn wiwa ti o jinlẹ ni idajọ fun didara ipo; awọn idanwo inawo boya otitọ kan ti o beere han laarin awọn snippets marun ti o ga julọ; ati omowe ati awọn iwadii ofin ni a ṣe itọju bi awọn iṣẹ-ṣiṣe ti a mọ-ohun ti a gba wọle nipasẹ ibaramu idanimọ. Nkan naa sọ pe ijanu orisun-ìmọ jẹ ohun elo laini aṣẹ Python pẹlu ipilẹṣẹ ati ṣiṣe awọn aṣẹ abẹlẹ, le ṣiṣẹ lori kọǹpútà alágbèéká kan tabi ni iṣọpọ lemọlemọfún, ati pe o nilo bọtini OpenRouter fun idajọ pẹlu bọtini API fun ẹrọ wiwa kọọkan ti idanwo.
Fun ibeere kọọkan, MarkTechPost sọ pe NEEDLE fi ọrọ ibeere kanna ranṣẹ si awọn API wiwa 15 labẹ ilana kan. Awọn ipe ti wa ni ṣe ọkan ni akoko kan, gbigba lairi ogorun lati wa ni akawe laisi nigbakanna fifuye. Igbelewọn naa nlo ipo ti ẹrọ kọọkan, awọn akọle, ati awọn snippets; Awọn oju-iwe ko gba, ati pe awọn abajade ko tun ni ipo. Ẹri ti ge si awọn ohun kikọ 2,000, ati pe onidajọ ko ṣe afihan orukọ engine naa. Gẹgẹbi ijabọ naa, Awọn iṣe GitHub ti gbogbo eniyan n ṣiṣẹ ati awọn ohun-ọṣọ fun ṣiṣe-ṣiṣe lori data data Hugging Face jẹ apakan ti ọna isọdọtun ti iṣẹ akanṣe, botilẹjẹpe awọn orisun yẹn ko ni idaniloju ni ominira ninu ohun elo ti a pese.
Awọn alaye orisun: marktechpost.com ↗
Kini idi ti o ṣe pataki
A ṣe apẹrẹ ala-ilẹ lati koju ailera kan ninu awọn igbelewọn wiwa aimi: eto AI le ṣe akori awọn ibeere ati awọn idahun ti a tẹjade, tabi gba bọtini idahun ti gbogbo eniyan dipo wiwa gangan. NEEDLE tun ṣe afiwe ẹrọ kọọkan pẹlu aja ti o ni agbara ti o da lori awọn abajade apapọ ti gbogbo awọn olupese ti idanwo pada.
Ala-ilẹ n ṣalaye iṣoro ti o wulo ni wiwọn wiwa AI. Awọn igbelewọn aimi le di alaye ti o dinku nigbati awọn awoṣe ba ti ṣe akori awọn ibeere naa, nigbati awọn idahun ba wa ni ifibọ sinu data ikẹkọ, tabi nigbati aṣoju le wọle si faili idahun ti o wa ni gbangba. Eto ibeere isọdọtun nigbagbogbo jẹ ki awọn ọna abuja wọnyẹn le, o kere ju ni ipilẹ. MarkTechPost ṣe afiwe ọna naa pẹlu awọn igbelewọn laaye miiran bii LiveBench, LiveCodeBench, ati SWE-bench-Live, ṣugbọn nkan ti a pese ko ṣe agbekalẹ ni ominira bi ilana NEEDLE ṣe afiwe pẹlu awọn iṣẹ akanṣe wọnyẹn.
Iwọn apapọ-oracle ti NEEDLE wulo pupọ nitori Dimegilio kekere le ni awọn idi oriṣiriṣi. MarkTechPost ṣe ijabọ pe ala-ilẹ naa ṣajọpọ gbogbo awọn abajade ti awọn ẹrọ ti o pada fun ibeere kan, awọn aṣẹ ti o papọ adagun-odo nipa ibaramu, o si lo lati ṣẹda aja ti o ni agbara ti a pe ni “ipari.” Aafo nla laarin ẹrọ ẹni kọọkan ati aja yẹn ni imọran pe ohun elo ti o wulo ni a gba pada nipasẹ o kere ju olupese kan ṣugbọn ko ṣe afihan tabi ni ipo daradara nipasẹ ẹrọ yẹn. Aja ti ko lagbara ni imọran pe awọn olupese ti o ni idanwo ni apapọ kuna lati gba ẹri to lagbara pada. Eyi jẹ iyatọ iwadii kuku ju ẹri ti didara wiwa lapapọ.
Awọn abajade ti a royin tọkasi pe iṣẹ ṣiṣe yatọ pupọ nipasẹ iṣẹ-ṣiṣe. Fun ferese ọjọ meje ti o pari ni Oṣu Kẹjọ Ọjọ 28, MarkTechPost ṣe ijabọ awọn ikun inawo ti 0.910 fun Exa, 0.872 fun Keenable, 0.871 fun Perplexity, ati 0.847 fun Google, lodi si Dimegilio ipari ti 0.965. Awọn ikun omowe wa lati 0.774 fun Keenable si 0.310 fun Tavily, lodi si 0.869. A ṣe ijabọ iru-jinlẹ bi ẹka ti o nira julọ: Exa de 0.557 ti Gbẹhin, Keenable 0.470, ati Bing 0.199. Awọn isiro wọnyi jẹ awọn ẹtọ lati inu iṣan, kii ṣe awọn wiwọn ti a fọwọsi ni ominira.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Kini lati wo tókàn
Orisun ti a pese ko ni idaniloju ominira ibi-ipamọ, dasibodu, awọn ohun-ọṣọ data, tabi awọn ikun ti a royin. Awọn ṣiṣiṣẹ iwaju yẹ ki o fihan boya ilana orisun-aye ala-ilẹ naa tun jẹ atunṣe, boya ọrọ-ọrọ rẹ ti o ni itumọ ṣe iyatọ awọn ikuna imupadabọ lati awọn ikuna ipo, ati bii awọn abajade ṣe yipada bi awọn olupese wiwa ṣe imudojuiwọn awọn atọka wọn ati awọn API.
Ọrọ akọkọ lati wo ni atunṣe. MarkTechPost ṣe ijabọ pe koodu NEEDLE ti tu silẹ labẹ iwe-aṣẹ MIT ati pe awọn ṣiṣan ibeere le tun ṣe, ṣugbọn orisun ti a pese ko pẹlu iṣayẹwo ominira ti koodu naa, iṣeto gbigba orisun, awọn sọwedowo jo, awọn idajo adajọ, tabi awọn ohun elo ti a tẹjade. Awọn oniwadi ati awọn olupese wiwa yoo nilo lati fi idi rẹ mulẹ boya ṣiṣe tuntun kan ṣe agbejade ikole ibeere kanna ati boya awọn iyipada ninu awọn ifunni gbogbogbo tabi awọn iforukọsilẹ ti wa ni igbasilẹ ni kedere to fun atunyẹwo nigbamii.
Ọrọ keji jẹ boya aja “ipari” ni a tumọ ni iṣọra. O ṣe iwọn abajade to dara julọ ti a rii nipasẹ awọn ẹrọ ti n kopa, kii ṣe agbaye pipe ti awọn oju-iwe wẹẹbu ti o yẹ. Nitorinaa o le ṣafihan awọn ipadanu pinpin nikan laarin awọn olupese idanwo ati window orisun. MarkTechPost tun ṣe ijabọ pe oniṣẹ NEEDLE, Keenable, dije ninu ala-ilẹ. Ti o ṣẹda rogbodiyan ti ko ni invalidate awọn ọna nipa ara, ṣugbọn ṣe sihin koodu, pipe àkọọlẹ, afọju idajọ, ati ominira reruns paapa pataki.
Lairi yoo tun ṣe pataki fun awọn olupolowo aṣoju. MarkTechPost ṣe ijabọ Keenable-akoko gidi ni 193 milliseconds median ati 284 milliseconds ni ipin 95th, ni akawe pẹlu Exa ni 1,876 ati 2,955 milliseconds ati Bing ni 2,767 ati 9,381 milliseconds fun ferese-ọjọ meje kanna. Nkan naa sọ pe awọn ipe ti o kuna ni a yọkuro lati awọn ayẹwo aipẹ, nitorinaa awọn igbelewọn ọjọ iwaju yẹ ki o ṣayẹwo awọn oṣuwọn ikuna, awọn opin oṣuwọn, awọn iyipada agbegbe, ati iṣowo laarin iyara ati didara igbapada lẹgbẹẹ awọn ipin ogorun wọnyi.