Kini o ṣẹlẹ
Iwe kan ṣe iwadii awọn ọna isọdi-shot diẹ fun awọn awoṣe ede-iriran ti o ṣajọpọ afọwọkọ ọrọ-shot odo pẹlu ẹya itumọ ti eto kekere ti awọn aworan aami. Awọn onkọwe ṣe ijabọ pe ipin idapọmọra ti o dara julọ ti imọ-jinlẹ ṣe iṣiro aṣiṣe apẹrẹ dipo iṣẹ ṣiṣe isọdi, lakoko ti awọn iwadii laini afọwọsi le ṣe ju paapaa idapọmọra Oracle kan.
Iwe naa ṣe ayẹwo idile kan ti awọn ọna isọdi-shot diẹ fun awọn awoṣe ede-iriran. Awọn ọna wọnyi ṣe ipinlẹ aworan kan nipa lilo apapọ convex ti awọn aṣoju kilasi meji: Afọwọkọ ọrọ-shot odo ati ẹya-ara ti a ṣe iṣiro lati awọn aworan aami K. Apapọ idapọpọ ẹyọkan n ṣakoso iye iwuwo ti aṣoju kọọkan gba. Gẹgẹbi awọn onkọwe, ipin yẹn nigbagbogbo ni aifwy lori awọn aami ti o waye ati, ni awọn igba miiran, taara lori ṣeto idanwo naa. Iwadi na beere awọn ibeere mẹta ti o ni ibatan: kini ipin ti o dinku aṣiṣe apẹrẹ, boya ipin le ṣe iṣiro laisi data afọwọsi, ati boya iṣapeye ipin jẹ ọna pataki julọ lati mu ilọsiwaju ṣiṣẹ.
Awọn onkọwe gba olùsọdipúpọ fọọmu-pipade fun ipin ti o dinku aṣiṣe-itumọ-squared Afọwọkọ. Wọn ṣe apejuwe ẹya ti a ṣeto-atilẹyin ti olùsọdipúpọ yii bi ipin rere-apakan James-Stein isunki si ọna apẹrẹ ọrọ. Kọja awọn sẹẹli 4,800 ti o bo awọn iwe data mẹwa mẹwa, awọn eegun ẹhin marun, awọn iṣiro ibọn marun, awọn irugbin laileto marun ati awọn ipele iyara mẹrin, iwe naa sọ pe ipin iwuri imọ-jinlẹ yii jẹ iṣiro igbẹkẹle ti ibi-afẹde ti ko tọ. Lori awọn sẹẹli ipele alakọbẹrẹ 950 nibiti a ti ṣe asọye olùsọdipúpọ, o tọpinpin ipin oracle ṣeto idanwo nipasẹ awọn aaye ipin 8.5.
Awọn eroja iwe ti o aafo si iyato laarin Afọwọkọ atunkọ ati . Olusọdipúpọ ti o da lori aṣiṣe ṣe itọju aaye laarin ọrọ ati awọn apẹẹrẹ aworan bi aiṣedeede, ṣugbọn awọn onkọwe jabo pe 78% ti ijinna yii jẹ aiṣedeede ominira-kilasi ti o fagile pupọ nigbati olupilẹṣẹ gba ipinnu arg-max. Bi abajade, olùsọdipúpọ duro lati saturate nitosi 1, ni imunadoko asonu ọrọ naa ṣaju ati isunmọ ikasi-itumọ-kilasi ti o sunmọ julọ. Onínọmbà counterfactual ninu iwe naa ni ipin ipin ti ibajẹ iṣẹ ti o ṣẹlẹ nipasẹ ẹrọ yii ni 26%.
Iwadi na tun ṣe iṣiro awọn ọna ti ko nilo eto afọwọsi kan. Ayẹwo-ọkan-jade lori eto atilẹyin nikan ṣe agbejade ipin kan laarin awọn aaye ogorun 0.9 ti idapọ oracle, ni ibamu si iwe naa. Ni pataki diẹ sii, awọn iwadii laini afọwọsi-ọfẹ ṣe dara julọ ju idapọ-aifwy oracle ni apapọ: awọn onkọwe ṣe ijabọ anfani-ojuami 1.9 fun CLAP ati anfani-ojuami 1.5 fun LP++. Ni awọn apẹẹrẹ aami mẹrin tabi diẹ sii fun kilasi, gbogbo awọn ipilẹ ti ko ni ifọwọsi mẹrin wa loke ọrọ-ọrọ, pẹlu awọn ala-iwadii laini laisi odo. Awọn onkọwe pese koodu, awọn ẹya ti a fi pamọ ati awọn igbasilẹ sẹli-kọọkan nipasẹ data ti Hugging Face ti o ni asopọ.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Awọn awari koju arosinu ti o wọpọ pe iṣẹ-shot diẹ le ni ilọsiwaju pupọ nipasẹ wiwa idapọ ọrọ ti o tọ ati alaye aworan. Ti o ba tun ṣe, wọn daba pe awọn oṣiṣẹ yẹ ki o dojukọ diẹ sii lori awoṣe aṣamubadọgba funrararẹ ju ti o gbowolori tabi ṣiyemeji ipin ti o ni ibeere ilana.
Ifiranṣẹ ti o wulo ni pe ipin idapọpọ le jẹ ibi-afẹde iṣapeye keji. Oṣiṣẹ ti n ṣe atunṣe awoṣe ede-iriran pẹlu awọn apẹẹrẹ aami diẹ nikan le lo akoko ni deede wiwa iwọntunwọnsi ti o dara julọ laarin awọn afọwọṣe-iyọrisi ọrọ ati aworan ti o jẹri kilasi. Iwadi yii ṣe ijabọ pe iru yiyi le fi iṣẹ silẹ lori tabili nitori awoṣe idapọ-afọwọkọ ti o wa ni ipilẹ funrararẹ ni ihamọ pupọ. Ofin imudọgba ti o lagbara le ṣe pataki ju yiyan iye ti o dara julọ laarin idile dín ofin yẹn.
Abajade tun jẹri lori ilana igbelewọn. Yiyan ipin kan pẹlu awọn aami iṣeto-idanwo le jẹ ki ọna kan han ni okun sii lakoko lilo alaye ti kii yoo wa ni imuṣiṣẹ gidi kan. Ifiwewe iwe naa pẹlu ọrọ-ọrọ ti o ṣeto idanwo ṣe afihan iwọn ti iyatọ yẹn, ati pe abajade isinmi-ọkan n funni ni yiyan-ọfẹ afọwọsi. Fun awọn ẹgbẹ ti n ṣiṣẹ pẹlu awọn iwe data ti o ni aami kekere, yago fun atunto iṣeto idanwo le jẹ ki iṣẹ ṣiṣe ti o royin jẹ igbẹkẹle diẹ sii ati dinku eewu ti yiyan ọna ti o da lori alaye ti ko si.
Awọn anfani-iwadii laini ti a royin jẹ itumọ nitori wọn ṣe afiwe si itọkasi ọjo aibikita: idapọpọ ti ipin rẹ ti yan pẹlu iraye si oracle si iṣẹ ṣiṣe idanwo. Lilu itọkasi yẹn daba pe aropin aarin kii ṣe yiyan hyperparameter talaka nikan. Awọn onkọwe fireemu eyi bi aja ni kilasi awoṣe. Ni awọn ọrọ iṣe, awọn aaye wiwa si awọn ọna aṣamubadọgba ti o kọ ẹkọ aworan agbaye ti o ni ọrọ lati awọn ẹya ede iran ti o tutu ju ki o tọju imudaramu bi iṣoro interpolation onisẹpo kan.
Iwe naa tun jẹ abajade iwadii, kii ṣe ẹri pe gbogbo imuṣiṣẹ ede-iriran yẹ ki o rọpo lẹsẹkẹsẹ parapo apẹrẹ pẹlu iwadii laini. Ẹri rẹ wa lati awọn adanwo ati awọn itupale ti a ṣalaye ninu iwe-tẹlẹ kan, ati pe orisun ko ṣe fi idi bi awọn ọna ṣe huwa ni awọn ohun elo pataki-aabo, labẹ iyipada pinpin, pẹlu awọn aami alariwo tabi ni ita atunto ala ti idanwo. Ko tun fihan pe iwadii laini jẹ aipe ni gbogbo awọn eto-shot diẹ. Awọn opin wọnyẹn ṣe pataki nigbati itumọ aropin anfani ala-ilẹ sinu awọn ipinnu iṣẹ ṣiṣe.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Ibeere akọkọ ti o ṣii ni boya anfani ti o royin wa ni ikọja awọn iwe data mẹwa mẹwa ti iwe, awọn ẹhin marun, awọn ipele iyara ati apẹrẹ igbelewọn. Atunse olominira yẹ ki o ṣe idanwo awọn awoṣe ede-iriran ni afikun, awọn ibugbe, awọn iṣiro kilasi ati awọn ipo imuṣiṣẹ, lakoko ti n ṣayẹwo boya awọn anfani naa tẹsiwaju nigbati awọn aami ko ṣọwọn tabi iyipada pinpin.
Atunṣe yẹ ki o jẹ idanwo akọkọ. Awọn onkọwe ṣe koodu wọn, awọn ẹya ti a fi pamọ ati awọn igbasilẹ sẹẹli kọọkan, eyiti o ṣẹda ọna ti o nipọn fun awọn oniwadi ominira lati rii daju aafo 8.5-ojuami ti a royin, abajade 0.9-ojuami-jade-jade ati awọn anfani-iwadii laini. Atunse yẹ ki o tọju iyatọ laarin alaye-ṣeto alaye, data afọwọsi ati alaye-ṣeto alaye Oracle. O yẹ ki o tun jabo awọn abajade fun dataset ati ẹhin kuku ju gbigbekele awọn iwọn apapọ nikan, nitori awọn anfani apapọ le fi awọn ikuna pamọ lori awọn iṣẹ ṣiṣe kan pato.
Iṣẹ siwaju yẹ ki o ṣe idanwo boya ẹrọ aiṣedeede ominira-kilasi tẹsiwaju kọja awọn apẹrẹ ti o yatọ, awọn owo-ori kilasi ati awọn ibugbe aworan. Iwe naa bo awọn ipele iyara mẹrin ati awọn eegun ẹhin marun, pẹlu SigLIP, ṣugbọn orisun ko ṣe idanimọ gbogbo awoṣe tabi data ti o han ni afoyemọ ti o han. Nitorinaa ko jẹ aimọ boya ibatan kanna wa fun awọn ile ayaworan tuntun, awọn ibugbe amọja, awọn koodu encoders multimodal pẹlu oriṣiriṣi awọn ohun-ini titete tabi awọn iṣẹ-ṣiṣe nibiti awọn aala kilasi jẹ alailagbara pupọ.
Awọn ipa ti shot ka yẹ akiyesi sunmọ. Afoyemọ naa sọ pe gbogbo awọn ipilẹ ti ko ni ifọwọsi mẹrin ni o wa loke ọrọ-ọrọ ni K tobi ju tabi dogba si 4, ṣugbọn ko funni ni iṣẹ ṣiṣe ni kikun fun gbogbo kika ibọn tabi ṣe alaye bii awọn ọna ṣe huwa ni awọn iwọn atilẹyin ti o kere julọ. Ọna ti o ga julọ pẹlu awọn apẹẹrẹ mẹrin tabi diẹ sii fun kilasi le ma wulo bakanna nigbati apẹẹrẹ kan wa. Awọn igbelewọn ọjọ iwaju yẹ ki o jẹ ki awọn ijọba data kekere wọnyẹn han gbangba ati wiwọn ifamọ si yiyan irugbin ati didara aami.
Lakotan, awọn oniwadi ati awọn oṣiṣẹ yẹ ki o ṣọra fun ẹri ni ita isọdi ala-ilẹ. Orisun ti o wa lọwọlọwọ dojukọ aṣamubadọgba-shot diẹ ti awọn awoṣe ede-iriran ati ṣiṣe awọn ijabọ nipasẹ apẹrẹ ati awọn afiwera ikasi. Ko fi idi awọn ipa mulẹ lori isọdiwọn, agbara, ododo, idamọ eto ṣiṣi, lairi tabi lilo iranti. Awọn ohun-ini yẹn le pinnu boya iwadii laini afọwọsi kan dara fun ohun elo gidi kan. Titi iru ẹri bẹẹ yoo wa, ipari atilẹyin ti o lagbara julọ jẹ dín: laarin eto idanwo, imudara awoṣe aṣamubadọgba han diẹ sii ni ileri ju iṣapeye ipin idapọ-afọwọkọ kan ṣoṣo.