Kini o ṣẹlẹ
Awọn oniwadi dabaa Token-Budget Distillation, tabi TBD, ọna-daradara paramita kan fun mimubadọgba awọn awoṣe ede-iriran fidio labẹ isunawo ami ti o wa titi. Ọna naa nlo awoṣe olukọ aami-kikun lati ṣakoso awoṣe ọmọ ile-iwe fisinuirindigbindigbin lakoko ti o n ṣe imudojuiwọn awọn oluyipada LoRA nikan.
Iwe arXiv ti a fi silẹ ni Oṣu Kẹjọ Ọjọ 28, Ọdun 2026, ṣafihan Distillation Token-Budget fun awọn awoṣe ede iran fidio. Awọn onkọwe ṣe apejuwe iṣoro aringbungbun bi iṣowo laarin ṣiṣe iṣiro ati iṣootọ itumọ: awọn igbewọle fidio n ṣe ọpọlọpọ awọn ami-iwoye wiwo, lakoko ti o npa awọn ami ami naa le fa awoṣe ti o baamu lati yọ kuro ni ihuwasi ti eto ami-ami kikun atilẹba. Ọna ti a dabaa ti ṣe apẹrẹ lati ṣiṣẹ labẹ isuna ami-ami ti o wa titi dipo kiki atunṣe-itanran taara lori awọn igbewọle fisinuirindigbindigbin. Itumọ pe ọna naa ni a gbekalẹ bi ilana imudọgba fun awoṣe ti o wa tẹlẹ, pẹlu isuna tokini ti a tọju bi idiwọ ti o ṣe apẹrẹ ikẹkọ. Nitori naa apejuwe ti a pese n tẹnu mọ bi olukọ ati ọmọ ile-iwe ṣe jẹ ikẹkọ ni ibatan si ara wọn, dipo ṣiṣe apejuwe koodu koodu fidio tuntun tabi ohun elo iṣẹ-ṣiṣe kan pato.
TBD di ẹhin apẹrẹ ti a ti kọkọ tẹlẹ ati ṣe imudojuiwọn awọn oluyipada LoRA nikan, eyiti iwe naa ṣafihan bi ilana imudọgba-daradara paramita. O tun ṣepọpọ FlashVID-orisun iworan-àmi funmorawon sinu ọna fidio. Apẹrẹ ikẹkọ nlo awọn ọna meji: oluko tokini kikun n pese abojuto, lakoko ti ọmọ ile-iwe fisinuirindigbindigbin kọ ẹkọ lati ibi-afẹde iṣẹ-ṣiṣe ati ọpọlọpọ awọn ifihan agbara distillation. Iwọnyi pẹlu idasi-agbegbe KL distillation, distillation ala-otitọ-anchored ala, ati iṣakoso igbẹkẹle-mọ ti distillation imọ. Awọn paati wọnyi ni a ṣe apejuwe bi awọn apakan ti apẹrẹ ikẹkọ, nitorinaa idasi ti a royin jẹ apapọ ti iṣeto-isuna ti o wa titi, ọna wiwo fisinuirindigbindigbin, ati abojuto ti o kọja lati ọdọ olukọ si ọmọ ile-iwe. Egungun ẹhin maa wa aaye itọkasi fun isọdi ti a ṣalaye.
Awọn onkọwe ṣe ijabọ awọn igbelewọn lori awọn ẹhin VLM fidio mẹta: LLaVA-Video, LLaVA-OneVision, ati Qwen3-VL-8B-Instruct. Wọn sọ pe ọna naa ni igbagbogbo ju awọn ipilẹ funmorawon-nikan kọja awọn ipilẹ oye fidio mẹrin labẹ mejeeji iwọntunwọnsi ati funmorawon ibinu. Ni ipin idaduro ami-ami 10%, iwe naa ṣe ijabọ pe TBD ṣe itọju 97.0% ti iwọn deede awoṣe Vanilla lori LLaVA-Fidio. Lori LLaVA-OneVision, o ṣe ijabọ Dimegilio aropin ti 58.4 ati 100.0% deede ibatan ni ipin idaduro kanna. Awọn abajade yẹn ni a sọ bi aropin tabi awọn abajade ibatan ninu akopọ iwe naa, ati pe wọn ti so mọ eto idaduro ti a damọ nibẹ. Iwe akọọlẹ ti a pese ko ṣafikun awọn idapa-ala-kọọkan tabi awọn abajade esiperimenta siwaju ju awọn afiwera ti a royin wọnyi.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Awọn awoṣe fidio n ṣe ilana awọn nọmba nla ti awọn ami iwo wiwo, eyiti o le jẹ ki iṣatunṣe didara ati idiyele jẹ gbowolori. Ti awọn abajade ti o royin ba di idanwo ti o gbooro, ọna naa le dinku sisẹ-iwoye si oke lakoko ti o tọju pupọ ti agbara oye fidio awoṣe.
Ọrọ iṣe ti a koju nipasẹ iwe jẹ pataki fun awọn eto AI fidio nitori awọn igbewọle fidio le ṣe agbejade awọn ami wiwo diẹ sii ju awọn aworan ẹyọkan lọ. Awọn ami-ami diẹ sii ni gbogbogbo ṣe alekun ẹru iširo ti itọkasi mejeeji ati aṣamubadọgba. Ilana kan ti o ṣe itọju awọn atunmọ fidio ti o wulo lakoko ṣiṣe ida kan ti aṣoju wiwo atilẹba le jẹ ki diẹ ninu awọn ohun elo ede fidio kere si ibeere lati ṣiṣẹ tabi tunse. Anfaani ti o ṣeeṣe ti wa ni asopọ si titọju iwulo atunmọ ni isuna-ami-iwoye kekere. Kii ṣe, lati ohun elo ti a pese nikan, ṣiṣe iṣiro pipe ti awọn orisun ti o nilo nipasẹ gbogbo ikẹkọ ati opo gigun ti epo.
Iwe apẹrẹ olukọ-akẹkọ iwe naa fojusi ailera kan pato ti titẹkuro ti o rọrun. Aṣamubadọgba-funmorawon nikan le fipamọ iṣiro ṣugbọn o le sọ alaye ti o ṣe pataki fun idahun awọn ibeere nipa fidio. Nipa titọju oluko tokini ni kikun lakoko ikẹkọ ati gbigbe ọpọlọpọ awọn ọna abojuto lọ si ọmọ ile-iwe fisinuirindigbindigbin, TBD ngbiyanju lati kọ awọn aṣoju kekere lati ṣafarawe ihuwasi atunmọ ti awoṣe fisinuirindigbindigbin. Eyi jẹ esi ifọkansi diẹ sii si pipadanu didara ju atọju funmorawon bi igbesẹ iṣaju nikan. Iyatọ naa ṣe pataki nigbati o tumọ imọran naa: eto funmorawon jẹ apakan ti ohunelo aṣamubadọgba ti o gbooro, ati pe ipa olukọ jẹ ti ikẹkọ. Akopọ naa ko sọ pe a nilo olukọ fun gbogbo lilo nigbamii ti ọmọ ile-iwe ti o baamu.
Awọn abajade ti o royin jẹ agbara ti o wulo nitori pe wọn bo awọn ẹhin ẹhin awoṣe pupọ ju faaji ẹyọkan lọ. Sibẹsibẹ, orisun n ṣe agbekalẹ awọn awari wọnyi nikan gẹgẹbi awọn ẹtọ ti a ṣe ninu iwe-tẹlẹ. Ko ṣe idanimọ awọn aṣepari mẹrin ninu áljẹbrà ti a pese, ṣe iwọn ikẹkọ tabi awọn iyara itọka, jabo lilo iranti tabi idiyele inawo, ṣapejuwe ohun elo ohun elo ti a lo, tabi ṣafihan bi deede pipe ṣe yipada laarin awọn iṣẹ ṣiṣe. Ko tun fi idi rẹ mulẹ pe ọna naa ti ṣetan fun imuṣiṣẹ iṣelọpọ tabi pe awọn ipin idaduro ti a royin yoo gbe lọ si awọn awoṣe fidio miiran. Fun idi yẹn, awọn abajade jẹ kika ti o dara julọ bi ẹri ti awọn onkọwe gbekalẹ fun iṣeto esiperimenta ti a sọ. Apejuwe ti o wa ni atilẹyin anfani ni ọna, lakoko ti o nlọ iwọn ati aitasera ti eyikeyi anfani to wulo lati fi idi mulẹ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Iwe naa jẹ iwe-tẹlẹ arXiv, ati pe orisun ko pese isọdọtun ominira, lairi alaye tabi awọn wiwọn iranti, awọn orukọ ala, wiwa koodu, tabi ẹri imuṣiṣẹ. Iṣẹ atẹle yẹ ki o ṣe idanwo boya awọn anfani ti o royin tẹsiwaju kọja awọn gigun fidio, awọn iṣẹ ṣiṣe, awọn ipele titẹkuro, ati awọn idile awoṣe.
Ibeere akọkọ fun iwadii atẹle ni boya idaduro deede ti o royin le jẹ ẹda ni ominira. Orisun naa ṣapejuwe awọn abajade lori awọn egungun ẹhin ti a darukọ mẹta ati awọn ami aṣepari mẹrin, ṣugbọn áljẹbrà naa ko fun awọn orukọ ala tabi awọn alaye adanwo to lati ṣe ayẹwo akojọpọ data, iṣoro iṣẹ ṣiṣe, awọn ilana igbelewọn, tabi iyatọ iṣiro. Atunwo ẹlẹgbẹ tabi ayewo imọ-ẹrọ ni kikun yoo ṣe iranlọwọ lati ṣalaye bi awọn afiwera ṣe lagbara. Awọn ela wọnyi ni ipa lori atunṣe bi daradara bi itumọ. Laisi ọrọ-ọrọ ti a yọkuro, oluka kan ko le sọ lati inu áljẹbrà nikan bi o ṣe jẹ aṣoju awọn eto igbelewọn ti o yan tabi iye aidaniloju to yika awọn afiwera ti a royin.
Awọn iṣeduro ṣiṣe nilo lati ṣe iwọn taara. Ipin idaduro 10% tọkasi iye awọn ami-iwoye ti o ku, ṣugbọn kii ṣe funrararẹ ṣe idasile 90% idinku ni akoko itọkasi aago odi, lilo iranti, agbara agbara, tabi idiyele. Funmorawon lori, awọn idiyele ikẹkọ awoṣe-olukọ, gigun lẹsẹsẹ, ohun elo ohun elo, iwọn ipele, ati awọn alaye imuse le ni ipa nipa ohun elo anfani to wulo. Awọn wiwọn yẹn ko pese ni ọrọ orisun. Nọmba idaduro naa yẹ ki o wa ni ipamọ lọtọ si awọn ipinnu ṣiṣe to gbooro. Ṣiṣeto awọn ipinnu wọnyẹn yoo nilo awọn wiwọn ti o so kika ami-ami pọ si lilo awọn orisun opin-si-opin labẹ imuse kan ati fifuye iṣẹ.
O tun ṣe pataki lati ṣe idanwo ọna ti o kọja awọn eto ti a royin. Awọn igbelewọn ọjọ iwaju le ṣe ayẹwo gigun ati awọn fidio ti o yatọ diẹ sii, ironu igba diẹ ti o dara, awọn iṣẹlẹ to ṣọwọn, awọn ede lọpọlọpọ, awọn ipin ifunmọ oriṣiriṣi, ati awọn idile awoṣe ni ita awọn eegun ẹhin mẹta ti a ṣe akojọ. Orisun naa ṣe aami iṣẹ naa fun ACM MM 2026, ṣugbọn ko sọ pe a ti gba iwe naa, tabi ko ṣe idanimọ koodu idasilẹ, awọn oluyipada awoṣe, tabi ọja ti gbogbo eniyan nipa lilo TBD. Iru idanwo yii yoo tun ṣe iranlọwọ awọn anfani lọtọ ti o dide lati ilana isọkuro lati awọn ipa ti o so mọ egungun ẹhin tabi eto funmorawon kan. Titi di igba naa, ẹri ti a pese wa ni opin si iwọn ati ipo ti a ṣapejuwe nipasẹ atẹjade tẹlẹ.