Maxaa dhacay
Cilmi baadhayaashu waxay soo jeediyeen AffectOmni, oo ah qaab lagu tababaro moodooyinka luqadaha badan ee multimodal si ay ugu sababeeyaan shucuurta, ujeedooyinka iyo calaamadaha kale ee saamaynta leh ee sawirada ama muuqaalada la xidhiidha fanka iyo bulshada. Daabacaadda hordhaca ah waxay ku doodaysaa in moodooyinka mararka qaarkood ay heli karaan jawaabo sax ah iyagoo ku tiirsan macnaha ku hareeraysan iyadoo la eegayo caddaymaha dadka udub dhexaad u ah ee sahlaya in caqligooda la hubiyo.
Daabacaad horudhac ah oo loo gudbiyay arXiv Agoosto 24 ayaa qeexaysa AffectOmni, qaab-dhismeedka xoojinta-waxbarashada ee sababaynta saameynta leh ee la xaqiijin karo ee moodooyinka luqadaha badan. Warqaddu waxay diiradda saartaa muuqaallada bulshada iyo farshaxanka la xiriira ee nidaamku u baahan karo si loo qiimeeyo dareenka, ulajeedka ama habaynta dhacdooyinka. Qorayaashu waxay aqoonsadaan daciifnimo gaar ah oo ka jirta nidaamyada jira: moodalku wuxuu bixin karaa jawaabta saxda ah marka la isticmaalayo gaagaaban oo ku salaysan macnaha guud ee goobta halkii ay ka ahaan lahayd ka qaybgalka calaamadaha dadka udub dhexaad u ah sida muujinta yaryar iyo luqadda jirka.
Qaab-dhismeedku wuxuu ku darayaa laba qaybood oo abaal-marin ah oo loo yaqaan Diirada Dadka iyo Amarka Ku-meel-gaadhka ah. Sida laga soo xigtay isha, Diirada Dadka waxay dhiirigelisaa moodeelka si uu u doorto caddaynta ku lug leh dadka, halka Amarka Ku-meel-gaadhka ahi dhiirigelinayo sababaynta habaysan marka ay dhacdooyinku dhacaan. Wargeysku wuxuu leeyahay calaamadahan waxaa loogu talagalay in lagu yareeyo hab-dhaqanka gaaban iyo hagaajinta xiriirka ka dhexeeya jawaabta moodeelka iyo caddaynta muuqaalka ah ee taageeraya. Isha ma bixinayso tafaasiil ku filan si loo ogaado sida abaal-marinahani u dhaqmaan dhammaan noocyada goobta ama haddii ay ka hortagayaan soo-gaabista imtixaannada madaxbannaan.
AffectOmni sidoo kale waxay isticmaashaa dhibcaha isbarbardhigga kooxda dhexdeeda inta lagu jiro xoojinta waxbarashada. Qorayaashu waxay yiraahdeen tan waxaa loola jeedaa in lagu wajaho kooxaynta dhibcaha ee qaabka garsoorka-qaab-afka-weyn, halkaas oo jawaabaha musharraxiinta badani ay helaan buundooyin isku mid ah oo sidaas darteed ay soo saaraan calaamado tababbar oo takoor ah. Ka dib marka uu qaabku soo saaro caqli-gal bilaash ah, Soo koobid Fikirka ayaa u beddela fikraddaas tilmaamo caddayn ah oo la fulin karo. Tilmaamahaas ayaa markaa lagu saleeyay caddaynta heerka pixel-ka iyadoo la adeegsanayo SAM3, abuurista waxay qorayaashu ku tilmaameen is-dhexgal dibadda ah oo la xisaabin karo oo ka baxsan wareegga tababarka.
Isha ayaa ka warbixisay tijaabooyinka saddexda bartilmaameed: IntentBench, Daily Omni iyo WorldSense. Marka loo eego moodooyinka il-furan ee cabbirka 7B, qorayaashu waxay ka warbixiyaan horumarro joogto ah, oo ay ku jiraan 4.66% kasbashada aqoonsiga dareenka iyo 14.29% faa'iidada hawlaha xasaasiga ah ee ku-meel-gaadhka ah. Isha ma cadda in tirooyinkani ay yihiin faa'iidooyin boqolkiiba-dhibcood oo dhammaystiran ama boqolkiiba hagaajinta, mana bixiso muunad tirooyin, muddooyin isku-kalsooni ah, baararka khaladka ama isbarbardhigga nidaamyada lahaanshaha ugu xooggan. Daabacaadda hordhaca ah waxay leedahay kood waa la heli karaa, laakiin isha ma bixiso isku xirka kaydka la isticmaali karo ama ma qeexayo shuruudaha shatiga.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Aqoonsiga saamayntu waa awood ka dhalan karta nidaamyada tarjuma isdhexgalka bulshada, laakiin summada saxda ahi qasab maaha inay muujiso in moodalku ogaaday qofka ku habboon, muujinta ama tilmaanta. Habka AffectOmni wuxuu wax ka qabtaa dhibaatada raad-raacida iyadoo la isku dhejinayo fikradda moodeelka iyo gobollada caddaynta ee la baari karo si ka baxsan habka tababarka. Haddii faa'iidooyinka la soo sheegay ay ka sarreeyaan halbeegyada qorayaasha, habku wuxuu bixin karaa hab la xisaabtan badan oo lagu qiimeeyo nidaamyada hab-dhaqanka badan ee tarjuma dabeecadda aadanaha.
Arrinka la taaban karo maahan si fudud in moodal-modal-ku-sheeggu magacaabi karo dareen. Codsiyada fasiraya muuqaallada bulshada, isticmaalayaashu waxay u baahnaan karaan inay ogaadaan caddaynta muuqata ee keentay xukunka. Nidaam si sax ah ugu calaamadiya goobta sabab khaldan awgeed waxa uu fashilmi karaa marka asalka, dharka, goobta ama tilmaamaha kale ee macnaha guud ay isbedelaan. Culayska warqadda ee caddaynta dadka udub dhexaad u ah waxay si toos ah uga hadlaysaa farqiga isku halaynta, inkasta oo isha laga soo xigtay fasiraadda qorayaasha halkii ay ka ahaan lahayd helitaan madaxbannaan oo la xaqiijiyay.
Talaabada caddaynta waxay ka dhigi kartaa wax-soo-saarka tusaalaha saamaynta leh si ay u sahlanaato in la xisaabiyo. Adigoo u turjumaya fikradda tilmaamaha oo lagu xidhiidhinayo gobollada heerka pixel, AffectOmni waxa ay soo bandhigtaa farshaxan la taaban karo oo uu qiimaynuhu kormeeri karo. Tani way ka hawl badan tahay codsiga guud ee moodeelka si uu isu sharaxo: sheegashadu waxay ku xidhan tahay goobaha sawirka gelinta. Si kastaba ha ahaatee, gobollada la iftiimiyay waa inaan si toos ah loogula dhaqmin inay yihiin caddaynta sababaha. Isha ma cadda in gobolladu si daacad ah u muujinayaan habka gudaha ee jawaabta soo saaray.
Horumarka la sheegay waa mid faa'iido leh sababtoo ah fahamka ku meel gaadhka ah iyo tarjumaada shucuureed ayaa ah dhibcooyinka guuldarada guud ee hababka kala duwan. Horumarka 14.29% ee hawlaha xasaasiga ah ee ku meel gaadhka ah, haddii si madax banaan loo soo saaro oo si cad loo qeexo, waxay muhiim u tahay nidaamyada falanqeynaya taxanaha halkii ay ka ahaan lahaayeen sawirro go'doonsan. Isha ma sheegayso sida ay hawluhu u adag yihiin, sida jaangooyooyinka loo dhisay ama in faa'iidooyinka laga faa'iidaysan karo ay u tarjumayaan sida waxbarashada, helitaanka, dhexdhexaadinta ama isdhexgalka aadanaha iyo kombiyuutarka.
Shaqadu waxay sidoo kale muujineysaa doorashada naqshadeynta ballaaran ee qiimeynta AI: abaal-marintu maaha kaliya wax soo saarka laakiin xulashada iyo abaabulka caddaynta taageeraya. Habkaas ayaa ka caawin kara cilmi-baarayaasha inay kala soocaan muuqaalka dhabta ah ee muuqaalka jawaabaha lagu soo saaray ururrada xogta. Si kastaba ha ahaatee, xukunnada saamaynta leh ayaa si dabiici ah u xasaasi u ah macnaha guud iyo fasiraadda. Habka abaal-marineed ee diiradda saaraya tilmaamaha bini'aadamka ee muuqda ayaa laga yaabaa inuu weli dejiyo malo-awaal ku saabsan muujinta dareenka, caadooyinka bulshada ama macnaha dhaqdhaqaaqyada, gaar ahaan marka malo-awaaladaasi ay ka muuqdaan xogta tababarka.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Maxaa la daawan doona xiga
Natiijadu waxay ka timid hal 12 bog ah oo arXiv ah oo daabacan waxaana soo sheegay qorayaashu; Isha ma dejiso ku-noqoshada madax-bannaan, hawl-gaynta adduunka dhabta ah ama waxqabadka guud ahaan dadweynaha iyo goobaha. Shaqada daba-galka ahi waa in ay tijaabiso in qaab-dhismeedku uu weli yahay mid lagu kalsoonaan karo oo leh dhaqamo aan la aqoon, isdhexgalka mugdiga ah, tayada muuqaalka oo liita iyo muuqaalada dareenka shucuurtu ay yihiin kuwo qarsoodi ah ama iska hor imanaya. Waxa kale oo muhiim noqon doonta in la go'aamiyo in gobolada caddayntu ay si dhab ah uga tarjumayaan habka go'aanka moodeelka ama ay bixiyaan meelo taageero oo macquul ah ka dib marka jawaabta la sameeyo.
Su'aasha ugu horeysa waa ku celcelin. AffectOmni waxa loo soo bandhigay sidii arXiv preprint ah, ma aha mid asaaga dib loo eegay ama natiijada si madax banaan loo ansixiyay. Cilmi-baarayaashu waa inay hubiyaan in guulaha la soo sheegay ay ku sii jiraan isla hab-maamuuska qiimaynta, haddii ay sii jiraan ka dib markii la xakameeyay xogta tababarka dheeraadka ah ama cabbirka moodeelka, iyo haddii dawku hagaajinayo jaangooyada iyo ogaanshaha khaladaadka halkii uu ka ahaan lahaa kaliya buundooyinka bartilmaameedka.
Baaxadda cabbirka ayaa muhiim ah. Isha waxay magacawday IntentBench, Daily Omni iyo WorldSense laakiin ma qeexdo daboolitaankooda tirakoobka, luqadaha, tayada muuqaalka, goobaha dhaqameed ama isku dheelitirnaanta xaaladaha bulshada. Qiimaynta mustaqbalka waa in ay tijaabiso shucuur aan mugdi ku jirin, calaamado isku dhafan, wejiyada qarsoon, boosaska jidhka ee aan caadiga ahayn iyo muuqaalada taas oo qofka ugu caansan uusan ahayn isha caddaynta ku habboon. Waa inay sidoo kale ka warbixiyaan natiijooyinka koox-hoosaadyada halkaasoo tarjumaaddu ay ku kala duwanaan karto dhaqamada ama naafada.
Sheegashada hantidhawrku waxay u qalantaa imtixaan la beegsaday. Qiimeeyuhu waxa uu is barbar dhigi karaa gobolada la iftiimiyay iyo tafsiiryada bini'aadamka, wax u dhimi kara gobolada la doortay, qarin kara, ama bedeli kara macnaha guud isaga oo si joogta ah u haya caddaymaha dadka ku salaysan. Tijaabooyin noocan oo kale ah ayaa kaa caawin doona in la go'aamiyo in gobollada caddayntu ay lagama maarmaan u yihiin go'aanka moodeelka ama la soo saaray xaqiiqda ka dib. Isha kama warbixiso tijaabooyinkan, markaa ilaa hadda lama garanayo ilaa xadka xaqiijinta la sheegay.
Ugu dambeyntii, xaddidaadaha dhabta ah lama dejin. Ma jiro macluumaad ku saabsan daahitaanka, xisaabinta kharashka, shati siinta, helista hawlgelinta, ilaalinta gaarka ah ama isticmaalka nidaamyada tooska ah. Qorayaashu waxay ka warbixiyaan natiijooyinka lidka ku ah ilaha-furan ee 7B-saldhigyada, laakiin isha ma tusinayso in AffectOmni ay la tartamayso moodooyinka waaweyn ama ay adagtahay in ka baxsan saddexda bartilmaameed ee la magacaabay. Ilaa su'aalahaas laga jawaabo, shaqada waxaa sida ugu wanaagsan loo fahmay soo jeedin cilmi baaris ah oo leh natiijooyin rajo leh oo la soo sheegay, ma aha sidii xal la ansaxiyay oo lagu turjumayo shucuurta dadka.