Pada si Iroyin
AtunseAI Understanding finifini

Ijabọ Ifibọ WeMM Ṣe apejuwe Ṣiṣi Awọn awoṣe Multimodal fun Wiwa ati Iṣeduro

Ijabọ imọ-ẹrọ tuntun kan ṣafihan WeMM-Ifibọ, ẹbi ti 2B, 4B ati awọn awoṣe 9B fun aṣoju ọrọ, awọn aworan, awọn fidio ati awọn iwe wiwo ni aaye pinpin. Ijabọ naa sọ pe awọn awoṣe ṣe ilọsiwaju awọn ipilẹ WeChat inu ati pe wọn ti ran lọ kọja wiwa ati awọn iṣẹ iṣeduro.

5 min readRead the primary source
Source-page capture accompanying WeMM-Embedding Report Describes Open Multimodal Models for Search and Recommendation
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2608.24053
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Ifisinu
Aṣoju fekito nomba ti o gba itumo atunmọ ti ọrọ, awọn aworan, tabi data miiran.
Iranti (Iranti Aṣoju)
Ọgangan ipamọ ti o jẹ aṣoju AI nlo kọja awọn igbesẹ tabi awọn akoko lati mu ilọsiwaju sii.
Data Provenance
Ipilẹṣẹ ti a ti gbasilẹ, nini, ati itan-akọọlẹ ti data tabi ohun-ọṣọ awoṣe.
Ṣe idanwo fun ara rẹAwọn awoṣe AI ti ṣalaye adanwo

Kini o ṣẹlẹ

Ijabọ imọ-ẹrọ ti a fi silẹ si arXiv ni Oṣu Kẹjọ Ọjọ 25 ṣapejuwe WeMM-, idile ti awọn awoṣe ifibọ multimodal ti a dagbasoke fun ọrọ, awọn aworan, awọn fidio, awọn iwe wiwo ati awọn igbewọle multimodal interleaved. Ijabọ naa sọ pe awọn awoṣe wa pẹlu awọn iwuwo idasilẹ ati koodu ati pe wọn ti ran lọ kọja ọpọlọpọ wiwa WeChat ati awọn ohun elo iṣeduro.

Ijabọ naa ṣafihan WeMM-Ifisinu gẹgẹbi idile ti awọn awoṣe ifibọ multimodal agbaye. Gẹgẹbi áljẹbrà, awọn awoṣe ṣe aṣoju ọrọ, awọn aworan, awọn fidio, awọn iwe aṣẹ wiwo ati awọn igbewọle multimodal lainidii lainidii ni aaye pinpin, pẹlu awọn iwọn iṣelọpọ rọ. Idile naa pẹlu 2-bilionu-, 4-bilionu- ati awọn iyatọ paramita 9-bilionu-biliọnu. Orisun ti a pese ko pese awọn alaye imọ-ẹrọ siwaju sii nipa faaji awoṣe, awọn ede ti o ni atilẹyin tabi awọn atunto iṣelọpọ gangan.

Ilana ikẹkọ ti o royin ni awọn ipele meji. Akọkọ jẹ ipele titete multimodal ti o tobi. Ikeji jẹ ipele isọdọtun nipa lilo data ti a ti ṣoki, abojuto ibaramu ti o dara ati gbigbe imọ iwọn-agbelebu. Awọn apejuwe wọnyi tọkasi pe eto naa jẹ iṣapeye kii ṣe lati sopọ awọn oriṣi media nikan, ṣugbọn lati ṣe iyatọ awọn iwọn ibaramu laarin awọn ohun ti a gba pada. Orisun naa ko ṣe idanimọ awọn ipilẹ data ikẹkọ, iṣafihan wọn, tabi iye data ti a lo.

Awọn onkọwe ṣe ijabọ iṣẹ ṣiṣe asiwaju lori ọpọlọpọ awọn aṣepari gbangba. Ninu lafiwe kan pato ti a ṣe afihan ni áljẹbrà, iyatọ 2B ni a sọ pe o kọja iṣaju iṣaju iṣaju iṣaju ṣiṣi-orisun 8B lori MMEB-v2. Ijabọ naa tun sọ pe iyatọ 9B de Dimegilio ipo-ti-ti-aworan tuntun ti 80.6. Iwọnyi jẹ awọn ẹtọ ti ijabọ naa ṣe; Oju-iwe ibalẹ arXiv ti a pese ko pẹlu awọn tabili ala-ilẹ, awọn ipo lafiwe tabi ijẹrisi ominira.

Ijabọ naa tun ṣe apejuwe awọn idanwo ti o wulo ni awọn ohun elo WeChat. O sọ pe WeMM-Ifisi ṣe awọn anfani nla lori ipilẹ ile-iṣẹ 26-ṣiṣe, awọn abajade ilọsiwaju ni igbagbogbo kọja awọn idanwo A/B ori ayelujara 14 ati pe o ti gbe lọ ni iwọn ni iṣeduro ati awọn ohun elo wiwa pẹlu Awọn ikanni WeChat, Awọn iroyin Iṣiṣẹ, Awọn akoko ati awọn iṣẹ iṣowo e-commerce. Awọn onkọwe sọ pe awọn iwọn awoṣe ati koodu ti tu silẹ, botilẹjẹpe orisun ti a pese ko sọ iwe-aṣẹ tabi pese awọn akoonu itusilẹ ni awọn alaye.

Awọn alaye orisun: arxiv.org ↗

Kini idi ti o ṣe pataki

Ijabọ naa ṣafihan itusilẹ awoṣe AI ti a so si awọn ẹtọ ala-ilẹ gbangba mejeeji ati imuṣiṣẹ ohun elo iwọn-nla. Ti o ba tun ṣe ni ominira, awọn abajade ijabọ rẹ le jẹ ibaramu si awọn olupilẹṣẹ yiyan laarin awọn ọna ṣiṣe ifibọ multimodal ti o tobi ati kekere fun igbapada, iṣeduro, isọdi ati awọn ohun elo aṣoju.

Awọn ifibọ multimodal jẹ apejuwe ninu ijabọ naa bi paati pataki ti awọn eto AI ode oni. Idi wọn ni lati ṣe aṣoju awọn ọna kika oriṣiriṣi ni aaye ti o wọpọ ki awọn ọna ṣiṣe le ṣe afiwe, gba pada, ṣeduro tabi ṣe lẹtọ wọn. Iyẹn jẹ ki iwadii yii ṣe pataki si awọn amayederun labẹ wiwa ati awọn ọja iṣeduro, kuku ju si iṣafihan adaduro nikan tabi aami ala awoṣe dín.

Abajade 2B-versus-8B ti o royin jẹ agbara pataki nitori pe o tọka si awoṣe ti o kere ju ti o ṣe ipilẹ orisun-ìmọ nla kan lori igbelewọn to mẹnuba. Ti lafiwe ba jẹ itẹ ati atunṣe, awọn awoṣe kekere le fun awọn olupilẹṣẹ aṣayan miiran nigbati iwọntunwọnsi didara si iranti, agbara iṣẹ ati iloju imuṣiṣẹ. Orisun naa ko ṣe ijabọ lairi, awọn ibeere ohun elo, lilo agbara tabi idiyele iṣẹ lapapọ, nitorinaa ko fi idi awọn anfani yẹn mulẹ.

Ifiranṣẹ ti a sọ kọja awọn iṣẹ WeChat lọpọlọpọ fun ijabọ naa ni iwọn to wulo. Awọn ikun ala aisinipo ko ni dandan tumọ si awọn abajade to dara julọ ni awọn ọja laaye, nibiti awọn pinpin data, awọn ilana ijabọ ati awọn idiwọ eto le yatọ. Aṣepari iṣẹ-ṣiṣe 26 ti a royin ati awọn idanwo 14 A/B daba igbiyanju lati wiwọn iṣẹ ṣiṣe ohun elo, ṣugbọn orisun ti a pese ko funni ni awọn isiro ilọsiwaju pipe, awọn iwọn ayẹwo, pataki iṣiro tabi awọn alaye nipa bii awọn idanwo naa ṣe ṣe.

Itusilẹ ti awọn iwuwo awoṣe ati koodu le gbooro iraye si iwadii ifibọ multimodal ati gba awọn oniwadi miiran laaye lati ṣe idanwo awọn iṣeduro ti o royin. Ṣiṣii yẹn le wulo fun lafiwe pẹlu awọn ọna ṣiṣe miiran ati fun igbapada kikọ, iṣeduro tabi ṣiṣan iṣẹ aṣoju. Iye ti gbogbo eniyan da lori iwe-aṣẹ gangan, ipari ti itusilẹ, iwe aṣẹ, ẹda-itumọ ati ẹtọ ati awọn ẹtọ lilo ti data ikẹkọ, ko si eyiti o jẹ idasilẹ nipasẹ oju-iwe ti a pese.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Models Explained Quiz

Which component of an AI application is the machine-learning model itself?

Kini lati wo tókàn

Awọn iṣeduro aarin tun nilo ayewo ti iwe kikun, awọn ohun-ọṣọ ti a tu silẹ ati awọn alaye igbelewọn. Awọn aimọ ti o ṣe pataki pẹlu iwe-aṣẹ naa, ijẹrisi data ikẹkọ, ilana ala-ilẹ, awọn anfani pipe ninu awọn idanwo ori ayelujara, iwọn imuṣiṣẹ, awọn idiyele iṣẹ ati boya awọn olumulo ominira le ṣe ẹda awọn abajade ijabọ ni ita ilolupo eda WeChat.

Ni ayo akọkọ jẹ ijẹrisi ti awọn igbelewọn gbogbo eniyan. Awọn oluka yẹ ki o wa awọn abajade MMEB-v2 ni kikun, idanimọ ati iṣeto ni ipilẹ 8B, awọn pipin dataset, awọn metiriki, awọn igbelewọn igbelewọn tabi iṣaju, ati boya gbogbo awọn awoṣe ni idanwo labẹ awọn ipo afiwera. Dimegilio akọle ti 80.6 yẹ ki o tumọ lẹgbẹẹ awọn abajade iṣẹ-ṣiṣe kọọkan, niwọn igba ti Dimegilio gbogbogbo le fi awọn ailagbara pamọ lori awọn ipo pataki tabi awọn ọran lilo.

Awọn iṣeduro ori ayelujara ṣe atilẹyin ijabọ kan pato deede. Awọn ohun elo ti o tẹle yẹ ki o ṣe afihan awọn itumọ ti awọn iṣẹ-ṣiṣe 26 ti inu, awọn ijabọ ati awọn akoko akoko ti a bo nipasẹ awọn idanwo 14 A / B, awọn iwọn ipa ti o niwọn, itọju iṣiro ati eyikeyi awọn iṣowo ni lairi, igbẹkẹle tabi lilo awọn orisun. Orisun naa sọ pe awọn awoṣe ti gbe lọ ni iwọn ṣugbọn ko ṣe iwọn awọn olumulo, awọn ibeere, awọn agbegbe tabi ipin ti awọn iṣẹ WeChat ti o kan.

Itusilẹ funrararẹ yẹ ki o ṣayẹwo fun awọn iwuwo lilo, koodu orisun, iwe ati iwe-aṣẹ mimọ. Awọn olupilẹṣẹ yoo tun nilo lati mọ iru awọn ọna kika igbewọle ati awọn ede ti o ṣe atilẹyin, bawo ni awọn iwọn iṣelọpọ rọ ti ṣe imuse, ohun elo ohun elo ti o nilo, ati boya itusilẹ le ṣee lo ni iṣowo tabi fun iwadii nikan. Orisun ti a pese ko dahun awọn ibeere wọnyi.

Idanwo olominira yẹ ki o ṣe ayẹwo boya awọn anfani ti a royin ṣe gbogbogbo kọja data WeChat ati awọn ipilẹ ti a yan ti awọn onkọwe. Awọn sọwedowo ti o wulo yoo pẹlu igbapada awọn ede-ọpọlọpọ ati agbegbe-iyipada, awọn ibeere ọrọ-ọrọ ati aworan ti o dapọ, mimu oju-iwe wiwo, aṣoju fidio ati awọn ọran ikuna ti o kan ti ko ṣe pataki tabi awọn ere-iṣere agbelebu-ọna ṣina. Nitori ijabọ naa n mẹnuba awọn eto aṣoju gẹgẹbi agbegbe ohun elo, iṣẹ iwaju yẹ ki o tun ṣalaye bi awọn aṣiṣe ifibọ ṣe le ni ipa lori awọn ipinnu adaṣe isale, lakoko ti o mọ pe orisun ti a pese ko ṣe ijabọ igbelewọn ailewu.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn awoṣe AI ti ṣalayeAwọn aṣoju AIAI IkẹkọAyirapadaṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ waTẹle olutọpa idasilẹ awoṣe AI
Ṣe eyi wulo?