Pada si Iroyin
AtunseAI Understanding finifini

Iwe ni imọran isọdọtun orisun ni iyara fun awọn awoṣe ede-iriran

Atọjade iṣaju tuntun kan ni imọran DSSG-PAC, ọna kan fun imudọgba awọn awoṣe ede-iriran laisi data orisun tabi awọn awoṣe orisun-iṣẹ kan pato. Awọn onkọwe ṣe ijabọ pe o ṣe itọju iṣẹ aṣamubadọgba lakoko ti o dinku akoko isọdi lapapọ nipasẹ 18.9%.

5 min readRead the primary source
Source-provided image accompanying Paper proposes faster source-free adaptation for vision-language models
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2608.28145
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Awoṣe Ede Iranran (VLM)
Awoṣe multimodal kan ti o nṣiṣẹ ni apapọ ni wiwo ati alaye ọrọ.
Distillation imo
Ikẹkọ awoṣe ti o kere julọ lati ṣe afarawe awọn abajade ti awoṣe ti o tobi ju.
Iranti (Iranti Aṣoju)
Ọgangan ipamọ ti o jẹ aṣoju AI nlo kọja awọn igbesẹ tabi awọn akoko lati mu ilọsiwaju sii.
Ṣe idanwo fun ara rẹAwọn awoṣe AI ti ṣalaye adanwo

Kini o ṣẹlẹ

Ẹgbẹ oniwadi kan ti dabaa DSSG, ilana ipari-si-opin fun Iṣatunṣe Ibugbe Orisun-Kikun-Kikun-kikun ti awọn awoṣe ede-iriran. Ọna naa nlo awọn ṣiṣan itọnisọna meji-ọkan ti o da lori awọn akọle ti ipilẹṣẹ ati omiiran ti o da lori awọn ìdákọró kilasi-lati ṣe iwọntunwọnsi aṣamubadọgba si aaye titun kan pẹlu titọju itumọ ẹka agbaye. Ẹya ti o jọmọ, DSSG-PAC, lorekore ṣe atunto awọn ìdákọró afọwọṣe ati ṣafipamọ wọn laarin awọn isọdọtun. Iwe naa sọ pe DSSG ṣe ju awọn ọna ipo-ti-aworan lọwọlọwọ kọja awọn ami-ami ọpọ, lakoko ti DSSG-PAC ṣe itọju iṣẹ yẹn ni pataki pẹlu akoko isọdi lapapọ 18.9% isalẹ.

Atẹjade-tẹlẹ, ti a fi silẹ si arXiv ni Oṣu Kẹjọ Ọjọ 28, Ọdun 2026, dojukọ Orisun-Kikun-Ọfẹ Agbese Adaṣe, tabi SFF-DA. Iwe naa ṣe alaye eyi bi iyipada awọn awoṣe ede-iriran laisi iraye si data orisun tabi awọn awoṣe orisun-iṣẹ-ṣiṣe. Ibeere aringbungbun rẹ ni pe eto yii ṣẹda iṣoro “fiseemani atunmọ meji”. Fiseete aimi wa lati awọn ifibọ kilasi ti o wa titi ti o le ma ṣe deede si agbegbe tuntun, lakoko ti fiseete ti o ni agbara wa lati awọn akọle ti ipilẹṣẹ ti o le yipada bi awoṣe ṣe badọgba. Gẹgẹbi awọn onkọwe, awọn iṣoro wọnyi npọ si ẹdọfu laarin ṣiṣu-agbara lati kọ ẹkọ alaye-ašẹ-ati iduroṣinṣin-agbara lati tọju awọn itumọ ẹka deede.

DSSG, ilana ti a dabaa, daapọ awọn ọna itọsọna atunmọ meji. Ṣiṣan akọle jẹ ipinnu lati gba imọ-ašẹ kan pato, lakoko ti ṣiṣan oran-kilasi jẹ ipinnu lati tọju aitasera isori agbaye. Iwe naa n pe ẹrọ apapọ yii Itọnisọna Semantic Meji, tabi DSG. O tun ṣafihan Distillation Imọ Cross-Modal Dynamic Cross-Modal, eyiti o nlo pinpin olukọ ti n dagbasi lati ṣe iwọn aitasera laarin olukọ ati awọn awoṣe ọmọ ile-iwe. Orisun naa ṣapejuwe awọn paati wọnyi gẹgẹbi apakan ti ilana imudọgba opin-si-opin, ṣugbọn ko ṣe pato awọn ayaworan awoṣe, awọn iwe data, awọn iṣeto ikẹkọ, tabi ohun elo iširo ti a lo ninu awọn adanwo.

Awọn onkọwe lẹhinna faagun DSSG sinu DSSG-PAC nipa ṣiṣe iwọn awọn ìdákọró afọwọṣe lẹẹkọọkan ati fifipamọ wọn titi di isọdiwọn to nbọ. Idi wọn ti a sọ ni lati dinku iṣiro-ẹgbẹ ọrọ ti o leralera lakoko idaduro agbara itọsọna kilasi lati ṣe deede bi aaye ọrọ ṣe yipada. Iwe naa tun sọ pe o ṣe agbekalẹ awọn aala eewu SFF-DA ti o so eewu ọmọ ile-iwe pọ si didara olukọ-itumọ ati aiṣedeede olukọ-akẹkọ. Ninu awọn adanwo ti a royin, awọn onkọwe sọ pe DSSG ni igbagbogbo ju awọn ọna ipo-ti-aworan lọwọlọwọ kọja awọn ami-ami pupọ. Wọn siwaju sọ pe DSSG-PAC ṣe itọju iṣẹ adaṣe ni pataki lakoko ti o dinku akoko aṣamubadọgba lapapọ nipasẹ 18.9%. Orisun naa ko ṣe idanimọ awọn ipilẹ, awọn ọna lafiwe, awọn ikun pipe, tabi aidaniloju iṣiro.

Awọn alaye orisun: arxiv.org ↗

Kini idi ti o ṣe pataki

Awọn awoṣe ede-iran le nilo lati ṣiṣẹ ni awọn eto nibiti data ikẹkọ atilẹba wọn tabi awoṣe orisun-iṣẹ-ṣiṣe ko le wọle si. Ọna ti a dabaa ṣe adirẹsi ti o ni ihamọ nipa igbiyanju lati mu awoṣe badọgba nipa lilo alaye ibi-afẹde lakoko ti o ni opin fiseete atunmọ. Ti o ba tun ṣe ni ominira, idinku akoko ti o royin le jẹ ki isọdọtun-ọfẹ orisun jẹ iye owo iṣiro, botilẹjẹpe orisun ko pese alaye idanwo to lati ṣe ayẹwo iwọn tabi gbogbogbo ti awọn anfani ti a sọ.

Iṣoro ilowo ti a koju nipasẹ iwe jẹ dín ati diẹ sii ni pato ju iṣatunṣe awoṣe gbogbogbo. Ninu eto ti a ṣapejuwe, agbari le ni awoṣe ede-iriran ṣugbọn ko ni igbanilaaye, ibi ipamọ, tabi iraye si data ati awoṣe iṣẹ-ṣiṣe kan ti a lo ni aaye orisun. Ọna ti o le ṣe deede labẹ awọn ihamọ wọnyẹn le jẹ ibaramu nibiti data orisun ko ṣe gbe tabi daduro. Ọna ti a dabaa ti ṣe apẹrẹ ni ayika ihamọ yẹn ju ki o tọju data orisun bi o ṣe wa nipasẹ aiyipada.

Ilowosi imọ-ẹrọ iwe ni igbiyanju rẹ lati ṣakoso awọn ibeere idije meji ni ẹẹkan. Awọn akọle ti ipilẹṣẹ le pese alaye nipa agbegbe ibi-afẹde, ṣugbọn awọn onkọwe jiyan pe gbigbe ara wọn le nikan le fa fiseete atunmọ. Awọn ifibọ kilasi ti o wa titi le ṣe itọju eto ẹka iduroṣinṣin, ṣugbọn awọn onkọwe jiyan pe wọn le jẹ lile pupọ fun agbegbe iyipada. Apapọ awọn ifori ati awọn ṣiṣan oran-kilasi nitorina ni a gbekalẹ bi ọna lati ṣafikun irọrun-pato ti ibi-afẹde laisi ikọsilẹ itọkasi isọri iduroṣinṣin. Awọn aala eewu ti pinnu lati ṣe agbekalẹ bi didara olukọ atunmọ ati aafo laarin olukọ ati ọmọ ile-iwe ṣe ni ipa lori eewu isọdọtun.

Idinku 18.9% ti a royin ni akoko isọdọtun lapapọ jẹ abajade ilowo ti o han julọ ni orisun. Ti abajade ba wa ni oriṣiriṣi awọn titobi awoṣe, awọn ibugbe, ati awọn atunto ohun elo, idinku iṣiro-ẹgbẹ ọrọ leralera dinku idiyele ti mimubadọgba awọn eto-ede iran. Bibẹẹkọ, orisun ko sọ boya fifipamọ akoko ṣe afihan akoko aago odi, agbara iṣiro, tabi iwọn miiran, ati pe ko sọ ipilẹ ti o lodi si eyiti idinku ti ṣe iṣiro. Anfani iṣẹ ti a sọ tun jẹ ijabọ awọn onkọwe nikan ni iwe afọwọkọ iṣaaju, nitorinaa o yẹ ki o ṣe itọju bi abajade iwadii ti nduro ẹda kuku ju agbara ile-iṣẹ ti iṣeto.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Document Size:128K tokens
Needle Placement Depth (Location in document):50% into text
Attention Context Buffer Map:
Target Fact (50%)
Equivalent Pages~320Standard book pages
Retrieval Accuracy99.9%Needle recall score
RAM / KV Cache5.1 GBMemory overhead
Prompt CachingActive~80% discount on reuse
Core takeaway: Million-token context windows allow querying whole codebases or legal archives in one prompt. However, KV cache memory scales with context length, making prompt caching crucial for real-time production.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Models Explained Quiz

Which component of an AI application is the machine-learning model itself?

Kini lati wo tókàn

Awọn ibeere atẹle ti o ṣe pataki ni eyi ti awọn aṣepari ati awọn ipilẹ ti a lo, iye deede ti yipada labẹ DSSG-PAC, kini ohun elo ati awọn eto aṣamubadọgba ṣe idinku akoko 18.9%, ati boya ọna naa ṣiṣẹ kọja awọn iṣẹ ṣiṣe ti a ṣe ayẹwo. Iwe naa jẹ atẹjade tẹlẹ arXiv, ati pe orisun ko pese afọwọsi ominira, ẹri imuṣiṣẹ, awọn isiro iṣẹ ṣiṣe pipe, tabi awọn alaye nipa koodu ti o sopọ mọ. Awọn ela wọnyẹn ṣe opin ohun ti a le pari nipa imurasilẹ ti o wulo.

Ni ayo ijerisi akọkọ ni igbasilẹ esiperimenta kikun. Orisun naa sọ pe ọna naa ti ni idanwo kọja awọn aami aṣepari pupọ, ṣugbọn ko fun wọn lorukọ tabi ṣapejuwe awọn ibugbe, awọn iwe data, awọn metiriki igbelewọn, awọn ọna ipilẹ, tabi awọn atunto awoṣe. Awọn alaye wọnyẹn jẹ pataki lati pinnu boya awọn anfani ti o royin jẹ gbooro tabi ogidi ni awọn iṣẹ ṣiṣe pataki. Awọn gbolohun ọrọ “awọn ọna ipo-ilọsiwaju lọwọlọwọ” tun jẹ ẹtọ nipasẹ iwe naa, kii ṣe lafiwe ti a fi idi mulẹ ni ominira ni orisun ti a pese.

DSSG-PAC ṣe iṣeduro iṣayẹwo lọtọ nitori ẹtọ iṣẹ ṣiṣe rẹ pẹlu ipadabọ kan ti áljẹbrà ṣapejuwe ni agbara nikan. Awọn onkọwe sọ pe ọna naa ṣe itọju iṣẹ aṣamubadọgba ni pataki lakoko gige akoko isọdọtun lapapọ nipasẹ 18.9%, ṣugbọn wọn ko pese deede ti o baamu tabi awọn nọmba eewu. Awọn oluyẹwo ati awọn imuse yoo nilo lati mọ bii igbagbogbo awọn ìdákọró afọwọṣe ti ṣe atunṣe, iye caching ṣe ni ipa lori lilo iranti, ati boya iṣiro kekere ṣe iyipada iṣẹ ṣiṣe lori awọn ibugbe ibi-afẹde ti o nira tabi yiyara.

Awọn koodu iwe naa jẹ apejuwe bi o ti wa nipasẹ URL ti o ni asopọ arXiv, ṣugbọn orisun ti a pese ko ṣe idanimọ ibi ipamọ tabi fi idi pipe rẹ mulẹ, iwe-aṣẹ, atunṣe, tabi ipo itọju. Iṣẹ siwaju yẹ ki o tun ṣe idanwo boya awọn aala eewu asọtẹlẹ ihuwasi ti a ṣe akiyesi ati boya ọna naa wa ni imunadoko nigbati awọn akọle ti ipilẹṣẹ jẹ didara kekere tabi awọn ẹka kilasi jẹ aibikita. Titi di idahun awọn ibeere wọnyẹn, iwe-iṣapẹrẹ ṣe atilẹyin jijabọ ilana imudọgba ti a dabaa tuntun ati awọn ibeere wiwọn awọn onkọwe rẹ, ṣugbọn kii ṣe awọn ipinnu nipa imurasilẹ iṣelọpọ tabi ilọsiwaju agbaye.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn awoṣe AI ti ṣalayeAyirapadaAI IkẹkọKini AI?Ṣe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ waTẹle olutọpa idasilẹ awoṣe AI
Ṣe eyi wulo?