Xiga xigaHagaha xiga
LLM Eval Frameworks: Promptfoo and DeepEval
Farsamo
HAGAHA Farsamada
Dhisida Xogta Eval Eval LLM
Xogta qiimaynta LLM waa qayb la soo koobay oo ka mid ah agabyo macquul ah, oo mid walba lagu lammaaniyay jawaab dahabi ah, xaqiiqooyinka tixraaca ama qoraalka qiimaynta, oo aad codsigaaga ka soo horjeedo si aad u cabbirto tayada oo aad u qabato dib u dhac.
Dhageyso hagahanAI-waa laga sheekeeyay · ~3 min
Boggaan4 daqiiqo akhri
Dulmar
Waa muhiim sababtoo ah isbeddelka degdegga ah, qaabka ama dib u soo celinta ayaa hagaajin kara hal dabeecad halka mid kale la jebinayo. Iyadoo aan la haynin tijaabo go'an, kooxuhu waxay ku dhameeyaan inay ku xukumaan isbeddelada dhowr tusaale oo gacanta lagu soo qaatay.
quusid qoto dheer
Ka bilow isticmaalka dhabta ah. Logyada, tigidhada taageerada, weydiimaha raadinta iyo waraysiyada isticmaaluhu waxay muujinayaan waxa ay dadku dhab ahaantii waydiiyaan, oo ay ku jiraan weedhaha qallafsan ee ikhtiraacay tusaalooyinka. Kahor intaan la bilaabin, khabiirada domain ha qoraa agabka Waxaad ku dari kartaa kiisaska synthetic ee uu sameeyay LLM, ilaa iyo inta uu qofku dib u eegayo oo uu ka saarayo waxyaabo aan macquul ahayn ama nuqul ah. Marka xigta, qeex macnaha saxda ah ee kiis kasta. Hawlaha qaarkood waxay leeyihiin hal jawaab oo sax ah, sida kala saarid, soo saarid ama xaqiiqo raadin. Kuwaas, ku kaydi jawaab dahabi ah oo la barbar dhigi karo si sax ah ama ka dib iftiinka caadiga ah. Hawlaha furan, qor qoraal gaar ah, shuruudo la hubin karo, sida 'sheeg waqtiga kama dambaysta ah ee lacag celinta' ama 'kuma talinayso tartame'. Shuruudaha aan caddayn sida 'waxtar bay leedahay' waxay horseedaan darajooyin aan is-waafaqayn, haddii uu ardaygu yahay qof ama nooc xaakin. Kadibna dabool kala duwanaanshaha wax-soo-gelinta dhabta ah ee ulajeedka ah. Ku calaamadee kiisaska ujeedo, dhib, luqadda iyo nooca isticmaalaha, oo hubi in kooxaha muhiimka ah ay matalaan. Ku dar kiisas cidhif ah iyo galitaanka iska soo horjeeda: - su'aalo aan caddayn - codsiyo leh macluumaad maqan - wax qabadyo aad u dheer - codsiyo ka baxsan baaxadda oo ay tahay in la diido - isku dayga duritaanka degdega ah Hayso jeex dib-u-celin ah oo ka samaysan guul-darrooyinka hore. Qiyaasta go'aanka ay tahay inay taageerto. Dhowr iyo toban kiis oo si wanaagsan loo doortay ayaa daaha ka qaadi kara dhibaatooyin waaweyn goor hore. Helitaanka kala duwanaanshiyaha yaryar si la isku halleyn karo waxay qaadataa wax badan. Iyadoo 100 kiis baas/fashil ah iyo heerka baasku ku dhow yahay 80 boqolkiiba, xadka khaladku waa qiyaastii lagu daray ama laga jaray 8 dhibcood boqolkiiba 95 kalsoonida. Horumarka laba-dhibcood ah lama kala saari karo sawaxanka cabbirkaas. Ka warbixi natiijooyinka jeex kasta, maaha kaliya celceliska guud. Khaladka caadiga ah waa in xogta xogta loo daaweeyo sidii la dhammeeyey. Alaabooyinka iyo isticmaalayaashu way isbedelaan, markaa ka soo cusboonaysii qoraalada cusub. Hayso qayb bannaan oo aanad waligaa ka soo horjeedin, si aanay soo jeedintaadu ugu habboonayn imtixaanka.
Dhaqangelinta Adduunka-dhabta ah
Kooxda taageerta ayaa dhoofisa 300 oo tigidh oo dhab ah oo xogta shaqsiga laga saaray, waxay calaamadisaa xallinta saxda ah mid kasta, waxayna ku dhaliyaan nooc kasta oo degdeg ah iyaga.
Soo koobida kulanka halkaas oo kelmado badan ay sax yihiin, kooxdu waxay qortaa qoraal: waxay dabooshaa saddexda go'aan ee muhiimka ah, ma sameyso sheegashooyin aan la taageerin, waxay ka hooseysaa 150 erey.
Kooxdu waxay ku dartay kiisas cidhif ah: gelinta madhan, su'aal ku qoran Isbaanishka, dukumeenti ka kooban isku day duritaanka degdega ah, iyo codsi kabaxsan kaaliyuhu waa inuu diidaa.
Marka adeegsaduhu uu ka warbixiyo jawaab xun xagga wax soo saarka, kiisku wuxuu gelayaa xogta xogta oo leh jawaabta saxda ah, markaa hagaajintu way sii socotaa in la tijaabiyo wixii ka dambeeya.
Mustaqbalka Dhisida Xogta Qiimaynta LLM
Qalabaynta Eval ayaa si degdeg ah u qaan gaadhay. Qaab-dhismeedka il-furan iyo aaladaha la martigeliyo hadda waxay maamulaan xog-ururinta, socodsiiyaan ardayda iyo natiijooyinka raadraaca waqti ka dib. Jiilka xogta synthetic waxay u badan tahay inay sii wanaajin doonto, taasoo ka dhigaysa kiisas naadir ah inay ka jaban tahay daboolida. Ma beddeli karto gelinta isticmaalaha dhabta ah sida barroosinka waxa muhiimka ah. Marka codsiyadu noqdaan kuwo firfircoon, jaangooyooyinka eval-ka ayaa sii kordheysa waxaa ka mid ah hawlo dhowr tallaabo ah oo lagu qiimeeyay natiijada kama dambaysta ah iyo tillaabooyinka la qaaday labadaba. Anshaxa xudunta u ah si tartiib tartiib ah ayey isu beddeshaa: u qeex guusha si cad, u dabool wax gelinta dhabta ah, isticmaal kiisas ku filan si aad u aamino tirooyinka, oo si joogto ah uga cusboonaysii setinka wax soo saarka.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Building an LLM Eval Dataset quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay Dhisida Xog-ururinta Eval LLM?
Xogta qiimaynta LLM waa qayb la soo koobay oo ka mid ah agabyo macquul ah, oo mid walba lagu lammaaniyay jawaab dahabi ah, xaqiiqooyinka tixraaca ama qoraalka qiimaynta, oo aad codsigaaga ka soo horjeedo si aad u cabbirto tayada oo aad u qabato dib u dhac. Waa muhiim sababtoo ah isbeddelka degdegga ah, qaabka ama dib u soo celinta ayaa hagaajin kara hal dabeecad halka mid kale la jebinayo. Iyadoo aan la haynin tijaabo go'an, kooxuhu waxay ku dhameeyaan inay ku xukumaan isbeddelada dhowr tusaale oo gacanta lagu soo qaatay.
Muxuu hagahu ku talinayaa in uu noqdo isha ugu fiican ee laga bilaabo kiisaska eval?
Isticmaalka dhabta ahi waxa uu qabtaa waxa ay dadku dhab ahaan weyddiiyaan, oo ay ku jirto weedhaha qallafsan. Kiisaska synthetic waa kabitaan dib loo eegay, maaha beddelka.
Goorma ayuu qoraalku ka habboon yahay hal jawaab oo dahabi ah?
Wax soo saarka dhamaadka-furan sida koobitaanka si sax ah looma waafajin karo. Shuruudo gaar ah, oo la hubin karo ayaa u oggolaanaya ardaydu inay si joogto ah u qiimeeyaan.
Midkee ka mid ah kuwan si wanaagsan loo qoray?
Shuruudaha wanaagsani waa mid gaar ah oo la hubin karo. Shuruudaha aan caddayn sida 'waa waxtar leh' waxay u horseedaan darajooyin aan waafaqsanayn oo ay bixiyaan dadka iyo garsoorayaasha si isku mid ah.
Iyadoo 100 kiis oo baas/fashil ah iyo heerka baasasku uu ku dhow yahay 80 boqolkiiba, muxuu hagahu ka yidhi xadka khaladka?
Kalsoonida boqolkiiba 95 marginku wuxuu ku saabsan yahay 8 dhibcood intan le'eg. Farqiga yar ee u dhexeeya noocyada lama aamini karo xaalado badan la'aanteed.
Waa maxay ujeedada jeex dib-u-celinta?
Ku darista guuldarro kasta oo go'an oo ku saabsan kaydka xogta waxay la macno tahay in isbeddel dambe uusan si aamusnaan ah dib ugu soo celin karin isla cayayaankaas.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan