Xiga xigaHagaha xiga
Uruurinta Xogta Doorbida Aadanaha ee RLHF
Luuqadda AI
HAGAHA Farsamada
Dhibcaha CLIP iyo Qiyaasaha Dookhyada Aadanaha
Dhibcaha CLIP wuxuu cabbiraa sida ugu wanaagsan ee sawirka la soo saaray uu ula mid yahay isla markiiba qoraalka.
Dhageyso hagahanAI-waa laga sheekeeyay · ~3 min
Boggaan4 daqiiqo akhri
Dulmar
Waxay ku dhejinaysaa sawirka iyo isla markiiba qaabka OpenAI's CLIP waxayna isbarbar dhigaysaa labada dhejis. Qiyaasta dookhyada bini'aadamka sida ImageReward, HPS iyo PickScore waa moodallo loo tababaray inay saadaaliyaan sawirada dhowr ah ee ay dadku dooranayaan. Dhibcahani waa muhiim sababtoo ah FID kaligeed waxba kama sheegin haddii sawirku raacayo isla markiiba ama inuu soo jiidanayo dadka, oo hadda waxay yihiin halbeeg waraaqo qoraal-ka-sawir ah, sabuuradaha hogaanka iyo dhuumaha hagaajinta.
quusid qoto dheer
Muddo sanado ah nambarka cinwaanka warqadaha jiilka sawirku wuxuu ahaa FID (Frechet Inception Distance). FID waxay is barbardhigtaa tirakoobyada astaamaha shabakada Bilowga ee sawirada la soo saaray iyo kuwa sawirada dhabta ah. Waxay qabtaa xaqiiqada iyo kala duwanaanshiyaha heerka xogta xogta oo dhan, laakiin waligeed ma eegto isla markiiba, kumana sheegi karto in hal sawir uu wanaagsan yahay iyo in kale. Dhibcaha CLIP ayaa buuxinaya farqiga degdega ah. OpenAI ayaa sii daayay CLIP 2021, oo lagu tababaray lamaanaha sawirka-caption-ka si sawirada iyo qoraalka iswaafajiya ay u wada fariistaan meel isku dhow oo la wadaago. Si aad u dhaliso jiil, waxaad dhejisaa sawirka iyo degdegiisa oo waxaad qaadataa isku ekaanshaha cosine ka dhexeeya. Natiijadu waxaa badanaa lagu dhuftaa 100, ama dib loo cabbiraa sida warqadda CLIPScore ee Hessel iyo asxaabtiisa. Celcelis ahaan marka la isku celceliyo, dhibco sare waxay ka dhigan tahay toosinta qoraalka wanaagsan. Halbeegyada dookhyada bini'aadamka ayaa tallaabo dheeraad ah u qaadaya in wax laga barto doorashada dadka. ImageReward (2023) waxay tababartay moodal abaal-marin ah oo ku saabsan qiimaynta khabiirada ee sawirada la soo saaray. Dhibcaha Dookhyada Aadanaha (HPS, dambe HPS v2) CLIP si fiican loo habeeyey oo ku saabsan ururinta badan ee doorashooyinka aadanaha ee u dhexeeya sawirro laga sameeyay isla isla markiiba. PickScore waxaa lagu tababaray Pick-a-Pic, xog kayd ah oo laga soo ururiyay isticmaalayaasha abka shabakada kuwaas oo doortay laba sawir oo la soo saaray. Moodooyinkaani waxay qabtaan bilicda, isku xirnaanta iyo soo jiidashada iyo sidoo kale toosinta. Halbeeg kastaa wuxuu leeyahay dhibco indho la'aan ah. CLIP waxay u dhaqantaa qayb ahaan sida boorso ereyada ah: waxay inta badan seegtaa tirinta, xidhiidhka boosaska, diidmada iyo midabka uu leeyahay shayga. Moodooyinka doorbidida waxay dhaxlaan dhadhanka sharraxayaashooda waxayna doorbidi karaan muuqaal dhalaalaya oo buuxa. Dhammaan dhibcahan waa la ciyaari karaa Haddii aad si toos ah ugu hagaajisid moodalka marka loo eego dhibcaha, waxa laga yaabaa in ay bartaan in ay ka farxiyaan gooldhaliyaha halkii aad ka farxin lahayd dadka. Fikradda khaldan ee caadiga ah ayaa ah in buundada CLIP ee sare ay had iyo jeer ka dhigan tahay sawir wanaagsan. Kala duwanaanshiyaha yar yar ayaa inta badan ku dhex jira buuqa, qiimaynta taxadarka lehna waxay ku lammaaniyaan buundooyinka tooska ah iyo halbeegyada halabuurka iyo daraasadaha aadanaha.
Dhaqangelinta Adduunka-dhabta ah
Koox cilmi baaris ah oo isbarbar dhigaysa laba isbaaro oo qaab qoraal-ka-muuqaal ah ayaa soo saara sawirro isla jaan-go'an isla markaana waxay soo sheegaan celceliska buundada CLIP ee ay weheliso FID. Tani waxay tusinaysaa in u hoggaansanaanta degdega ah ay soo hagaagtay iyada oo aan waxyeellayn xaqiiqada.
App-ka jiilka sawirku waxa uu abuuraa afar musharrax codsi kasta, waxa uu ku darayaa PickScore oo marka hore tusa sawirka ugu dhibcaha badan.
Mashruuc hagaagsan ayaa ImageReward u adeegsada calaamad abaal-marineed si loogu riixo qaabka Stable Diffusion xagga wax soo saarka la doorbido. Kooxdu waxay markaas hubinaysaa muunado gacanta si ay u qabtaan jabsiga abaalmarinta, sida midabada aadka u dheregsan.
Qiimeeyuhu waxa uu arkaa in moodelku uu si fiican ugu dhibco dhibcaha CLIP ee 'cube cas oo ku yaal dusha sare ee buluugga' inkasta oo midabada la isweydaarsado. Waxay ku daraan halbeeg-beegtiyeed ku salaysan baare sida GenEval si ay u qabtaan khaladaadkan sifada xidhidha
Mustaqbalka Dhibcaha CLIP iyo Qiyaasta Dookhyada Aadanaha
Qiimayntu waxa ay u socotaa hababka hubinaya sheegashooyinka gaarka ah ee sawirka halkii ay ku tiirsanaan lahayd hal lambar oo caalami ah oo la mid ah. Hababka ka jawaabista su'aalaha sida TIFA iyo bartilmaameedyada ku salaysan baaraha sida GenEval waxay waydiiyaan in shay kasta, tiriyo iyo sifo kasta oo isla markiiba run ahaantii muuqato. Moodooyinka luqadaha kala duwan ayaa sidoo kale aad iyo aad loogu isticmaalaa garsoorayaal ahaan. Aaladahani waxay leeyihiin khaladaad iyo eex u gaar ah, sidaa darteed waxay u badan tahay inay dhamaystiraan buundooyinka gundhigga intii ay bedeli lahaayeen. Daraasaadka aadanaha iyo fagaarayaasha dadweynaha ayaa weli ah barta tixraaca. Cilmi baadhayaashu waxay wali ka doodayaan sidii loo ururin lahaa xogta doorbidida taas oo ka tarjumaysa tiro balaadhan oo isticmaalayaasha halkii ay ka ahaan lahaayeen koox cidhiidhi ah oo falanqeeya.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the CLIP Score and Human Preference Metrics quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay buundada CLIP iyo cabbirada doorbidida aadanaha?
Dhibcaha CLIP wuxuu cabbiraa sida ugu wanaagsan ee sawirka la soo saaray uu ula mid yahay isla markiiba qoraalka. Waxay ku dhejinaysaa sawirka iyo isla markiiba qaabka OpenAI's CLIP waxayna isbarbar dhigaysaa labada dhejis. Qiyaasta dookhyada bini'aadamka sida ImageReward, HPS iyo PickScore waa moodallo loo tababaray inay saadaaliyaan sawirada dhowr ah ee ay dadku dooranayaan. Dhibcahani waa muhiim sababtoo ah FID kaligeed waxba kama sheegin haddii sawirku raacayo isla markiiba ama inuu soo jiidanayo dadka, oo hadda waxay yihiin halbeeg waraaqo qoraal-ka-sawir ah, sabuuradaha hogaanka iyo dhuumaha hagaajinta.
Maxay FID kaligeed ugu filnaan la'dahay qiimaynta moodooyinka qoraalka-ka-muuqaalka ah?
FID waxay isbarbardhigtaa tirooyinka muuqaalada la soo saaray iyo kuwa dhabta ah ee xogta xogta. Waxay qabtaa xaqiiqada iyo kala duwanaanshaha laakiin waxay iska indha tirtaa isla markiiba, taas oo ah farqiga dhibcaha CLIP ee la keenay si loo buuxiyo.
Sidee buundada CLIP ee aasaasiga ah loo xisaabiyaa?
CLIP wuxuu dhigayaa sawirada iyo qoraalka meel la wadaago. Dhibcuhu waa isku ekaanshaha halbeegga u dhexeeya sawirka dhejinta iyo ku-xidhka degdegga ah, oo inta badan lagu qiyaaso 100.
Xoggee ayaa PickScore lagu tababaray?
PickScore waxaa lagu tababaray Pick-a-Pic, halkaas oo isticmaaleyaasha abka shabakadu ay doorteen waxay jecel yihiin labada sawir ee la soo saaray isla markiiba.
Waa kuwee daciifnimada caadiga ah ee dhibcaha ku saleysan CLIP?
CLIP waxay u dhaqantaa qayb ahaan sida boorsada erayada. Waxay ogaanaysaa fikradaha jira laakiin inta badan way tabtaa sida ay u xidhiidhiyaan, sida tirinta, boosaska ama midabaynta.
Waa maxay sababta aan si toos ah loo barbar dhigi karin buundooyinka CLIP ee laf dhabarta kala duwan?
Codeeye kastaa wuxuu bartaa booskiisa wax-ku-gelinta, markaa isla sawirka iyo isla markiiba waxay helayaan buundooyin kala duwan cod-bixiyeyaal kala duwan. Waraaquhu waa inay sheegaan cod-bixiyaha ay isticmaaleen.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan