Kini o ṣẹlẹ
Awọn oniwadi ti dabaa AffectOmni, ilana fun ikẹkọ awọn awoṣe ede nla multimodal lati ronu nipa awọn ẹdun, awọn ero ati awọn ifihan agbara ipa miiran ni awujọ ati awọn aworan ti o jọmọ aworan tabi awọn iwoye. Atọjade iṣaju ṣe ariyanjiyan pe awọn awoṣe le de ọdọ awọn idahun to pe nigbakan nipa gbigbekele agbegbe agbegbe lakoko ti o n foju wo ẹri ti o dojukọ eniyan ti yoo jẹ ki ero wọn rọrun lati ṣayẹwo.
Atẹjade iṣaaju ti a fi silẹ si arXiv ni Oṣu Kẹjọ Ọjọ 24 ṣapejuwe AffectOmni, ilana imuduro-ẹkọ fun idaniloju idaniloju idaniloju ni awọn awoṣe ede nla multimodal. Iwe naa dojukọ lori awujọ ati awọn oju iṣẹlẹ ti o jọmọ aworan ninu eyiti eto kan le nilo lati sọ ẹdun, idi tabi pipaṣẹ awọn iṣẹlẹ. Awọn onkọwe ṣe idanimọ ailera kan pato ninu awọn eto ti o wa tẹlẹ: awoṣe kan le funni ni idahun ti o tọ lakoko lilo awọn ọna abuja ti o da lori aaye ipo gbooro dipo wiwa si awọn ifẹnukonu ti o dojukọ eniyan gẹgẹbi awọn ikosile-kekere ati ede ara.
Ilana naa ṣafikun awọn paati ere meji ti a pe ni Idojukọ Eniyan ati Bere fun Igba akoko. Gẹgẹbi orisun naa, Idojukọ Eniyan n ṣe iwuri fun awoṣe lati yan ẹri ti o kan eniyan, lakoko ti Aṣẹ Akoko n ṣe iwuri fun ironu ti a ṣeto ni ayika nigbati awọn iṣẹlẹ ba waye. Iwe naa sọ pe awọn ifihan agbara wọnyi ni ipinnu lati dinku ihuwasi ọna abuja ati ilọsiwaju asopọ laarin idahun awoṣe kan ati ẹri wiwo ti n ṣe atilẹyin. Orisun naa ko pese alaye ti o to lati fi idi bi awọn ere wọnyi ṣe huwa kọja gbogbo awọn iru iṣẹlẹ tabi boya wọn ṣe idiwọ ọna abuja ni awọn idanwo ominira.
AffectOmni tun nlo igbelewọn afiwera laarin ẹgbẹ lakoko ikẹkọ imuduro. Awọn onkọwe sọ pe eyi ni itumọ lati koju iṣupọ Dimegilio ni idajọ awoṣe-ede-nla, nibiti ọpọlọpọ awọn idahun oludije gba awọn ikun ti o jọra ati nitorinaa gbejade awọn ifihan agbara iyasoto ti ko lagbara. Lẹhin ti awoṣe ṣe ipilẹṣẹ ọgbọn-fọọmu ọfẹ kan, Akopọ ironu ṣe iyipada ọgbọn yẹn sinu awọn ilana ẹri ṣiṣe ṣiṣe. Awọn ilana wọnyẹn ti wa ni ilẹ si awọn ẹkun-ẹri ipele-piksẹli ni lilo SAM3, ṣiṣẹda ohun ti awọn onkọwe ṣe apejuwe bi wiwo iṣayẹwo ita ita ita lupu ikẹkọ.
Orisun naa ṣe ijabọ awọn idanwo lori awọn ipilẹ mẹta: IntentBench, Daily Omni ati WorldSense. Ni ibatan si awọn awoṣe orisun-ìmọ ni iwọn 7B, awọn onkọwe ṣe ijabọ awọn ilọsiwaju deede, pẹlu ere 4.66% lori idanimọ ẹdun ati ere 14.29% lori awọn iṣẹ ṣiṣe ifura igba diẹ. Orisun naa ko ṣe pato boya awọn isiro wọnyi jẹ awọn anfani ipin-ojuami pipe tabi awọn ilọsiwaju ogorun ibatan, ati pe ko pese awọn iṣiro ayẹwo, awọn aaye igbẹkẹle, awọn ifi aṣiṣe tabi awọn afiwe pẹlu awọn eto ohun-ini to lagbara julọ. Atọjade naa sọ pe koodu wa, ṣugbọn orisun ko pese ọna asopọ ibi-ipamọ ohun elo tabi ṣe apejuwe awọn ofin iwe-aṣẹ.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Idanimọ ipa jẹ agbara abajade fun awọn ọna ṣiṣe ti o tumọ awọn ibaraenisọrọ awujọ, ṣugbọn aami ti o pe ko ṣe afihan dandan pe awoṣe kan ṣe akiyesi eniyan ti o yẹ, ikosile tabi afarajuwe. Ọna ti AffectOmni n ṣapejuwe iṣoro wiwa kakiri yẹn nipa sisopọ ero awoṣe pẹlu awọn agbegbe ẹri ti o le ṣe ayewo ni ita ilana ikẹkọ. Ti o ba jẹ pe awọn anfani ti a royin ni idaduro ju awọn ipilẹ awọn onkọwe lọ, ọna naa le funni ni ọna iṣiro diẹ sii lati ṣe iṣiro awọn ọna ṣiṣe multimodal ti o tumọ ihuwasi eniyan.
Ọrọ ti o wulo kii ṣe boya boya awoṣe multimodal le lorukọ ẹdun kan. Ninu awọn ohun elo ti o tumọ awọn oju iṣẹlẹ awujọ, awọn olumulo le nilo lati mọ iru ẹri ti o han ti o yori si idajọ. Eto kan ti o ṣe aami iṣẹlẹ ni deede fun idi ti ko tọ le kuna nigbati abẹlẹ, aṣọ, eto tabi awọn ifẹnukonu ọrọ-ọrọ miiran yipada. Itọkasi iwe naa lori ẹri ti o dojukọ eniyan n ṣalaye aafo igbẹkẹle taara, botilẹjẹpe orisun naa ṣe ijabọ itumọ ti awọn onkọwe kuku ju wiwa ti o ni idaniloju ominira.
Igbesẹ-ilẹ ẹri le jẹ ki awọn abajade awoṣe ti o ni ipa rọrun lati ṣe ayẹwo. Nipa titumọ ọgbọn kan si awọn itọnisọna ati sisọpọ wọn pẹlu awọn agbegbe ipele-piksẹli, AffectOmni nfunni ni ohun-ọṣọ kan pato ti oluyẹwo le ṣayẹwo. Eyi jẹ iṣẹ ṣiṣe diẹ sii ju ibeere gbogbogbo fun awoṣe lati ṣe alaye funrararẹ: ẹtọ naa ti so si awọn ipo ni aworan titẹ sii. Paapaa nitorinaa, awọn agbegbe ti o ni afihan ko yẹ ki o ṣe itọju laifọwọyi bi ẹri ti ero idi. Orisun naa ko fi idi rẹ mulẹ pe awọn agbegbe ni otitọ ṣe afihan ilana inu ti o ṣe idahun naa.
Awọn ilọsiwaju ti o royin jẹ agbara ti o wulo nitori oye igba diẹ ati itumọ ẹdun jẹ awọn aaye ikuna ti o wọpọ ni awọn eto multimodal. Ilọsiwaju 14.29% lori awọn iṣẹ ṣiṣe ifarabalẹ igba diẹ, ti o ba tun ṣe ni ominira ati asọye ni kedere, le ṣe pataki fun awọn ọna ṣiṣe ti o ṣe itupalẹ awọn ilana kuku ju awọn aworan ti o ya sọtọ. Orisun naa ko sọ bi awọn iṣẹ ṣiṣe ṣe le to, bawo ni a ṣe kọ awọn ami aṣepari tabi boya awọn anfani tumọ si awọn lilo ti o wulo gẹgẹbi ẹkọ, iraye si, iwọntunwọnsi tabi ibaraenisepo eniyan-kọmputa.
Iṣẹ naa tun ṣe apejuwe yiyan apẹrẹ ti o gbooro ni igbelewọn AI: ẹsan kii ṣe abajade nikan ṣugbọn yiyan ati iṣeto ti ẹri atilẹyin. Ọna yẹn le ṣe iranlọwọ fun awọn oniwadi ṣe iyatọ idasile ojulowo ojulowo lati awọn idahun ti a ṣejade nipasẹ awọn ẹgbẹ data. Sibẹsibẹ, awọn idajọ ti o ni ipa jẹ ifarabalẹ lainidi si ọrọ-ọrọ ati itumọ. Ọna kan ti o san ẹsan idojukọ lori awọn ifẹnukonu eniyan ti o han le tun ṣe koodu awọn arosinu nipa ikosile ẹdun, awọn ilana awujọ tabi itumọ awọn afarajuwe, ni pataki nigbati awọn arosinu yẹn ba farahan ninu data ikẹkọ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Kini lati wo tókàn
Awọn abajade wa lati oju-iwe arXiv kan-oju-iwe 12 kan ṣoṣo ati pe o jẹ ijabọ nipasẹ awọn onkọwe rẹ; orisun naa ko ṣe idasile ẹda ominira, imuṣiṣẹ aye gidi tabi iṣẹ ṣiṣe kọja awọn olugbe ati awọn eto ti o gbooro. Iṣẹ atẹle yẹ ki o ṣe idanwo boya ilana naa wa ni igbẹkẹle pẹlu awọn aṣa ti ko mọ, awọn ibaraenisepo aibikita, didara aworan ti ko dara ati awọn iwoye nibiti awọn ifẹnukonu ẹdun jẹ arekereke tabi ilodi si. Yoo tun ṣe pataki lati pinnu boya awọn ẹkun-ẹri ẹri ni otitọ ṣe afihan ilana ipinnu awoṣe tabi pese awọn ipo atilẹyin ti o ṣeeṣe lẹhin ti o ti ṣẹda idahun naa.
Ibeere akọkọ jẹ atunṣe. A ṣe afihan AffectOmni gẹgẹbi atẹwe-tẹlẹ arXiv, kii ṣe bi atunyẹwo ẹlẹgbẹ tabi abajade ti a fọwọsi ni ominira. Awọn oniwadi yẹ ki o ṣayẹwo boya awọn anfani ti a royin tẹsiwaju labẹ ilana igbelewọn kanna, boya wọn wa lẹhin iṣakoso fun data ikẹkọ afikun tabi iwọn awoṣe, ati boya ọna naa ṣe imudara iwọntunwọnsi ati wiwa aṣiṣe dipo awọn ikun ala nikan.
Iwọn ala-ilẹ yoo ṣe pataki. Awọn orukọ orisun IntentBench, Daily Omni ati WorldSense ṣugbọn ko ṣe apejuwe agbegbe agbegbe wọn, awọn ede, didara aworan, awọn eto aṣa tabi iwọntunwọnsi ti awọn ipo awujọ. Awọn igbelewọn ọjọ iwaju yẹ ki o ṣe idanwo awọn ẹdun aibikita, awọn ifihan agbara idapọmọra, awọn oju ti o wa ni pipade, awọn ipo ara dani ati awọn iwoye ninu eyiti eniyan ti o ni oye julọ kii ṣe orisun ti ẹri ti o yẹ. Wọn yẹ ki o tun jabo awọn abajade ẹgbẹ-ẹgbẹ nibiti itumọ le yatọ laarin awọn aṣa tabi awọn alaabo.
Ibeere iṣatunṣe yẹ idanwo ifọkansi. Oluyẹwo le ṣe afiwe awọn agbegbe ti o ni afihan pẹlu awọn asọye eniyan, da awọn agbegbe ti o yan, tọju wọn, tabi rọpo ọrọ-ọrọ lẹhin lakoko ti o mu ẹri ti o dojukọ eniyan duro nigbagbogbo. Iru awọn idanwo bẹẹ yoo ṣe iranlọwọ lati pinnu boya awọn agbegbe ẹri jẹ pataki si ipinnu awoṣe tabi ti ipilẹṣẹ lẹhin otitọ. Orisun naa ko ṣe ijabọ awọn adanwo wọnyi, nitorinaa iwọn ijẹrisi ti o sọ jẹ aimọ.
Nikẹhin, awọn ifilelẹ ti o wulo ko ni idasilẹ. Ko si alaye ni orisun nipa idaduro, idiyele iṣiro, iwe-aṣẹ, wiwa imuṣiṣẹ, awọn aabo ikọkọ tabi lilo ninu awọn eto laaye. Awọn onkọwe ṣe ijabọ awọn abajade lodi si awọn ipilẹ orisun-iwọn 7B, ṣugbọn orisun ko fihan boya AffectOmni jẹ ifigagbaga pẹlu awọn awoṣe nla tabi logan ni ita awọn ipilẹ ti a darukọ mẹta. Titi di idahun awọn ibeere wọnyẹn, iṣẹ naa ni oye ti o dara julọ bi imọran iwadii pẹlu awọn abajade ijabọ ti o ni ileri, kii ṣe bi ojutu ti a fọwọsi fun itumọ awọn ẹdun eniyan.