Kini o ṣẹlẹ
Awọn oniwadi ṣe apejuwe OmniLens, ilana lẹnsi ti a ṣe apẹrẹ lati jẹ ki awọn iṣiro agbedemeji awọn awoṣe ede nla rọrun lati ṣayẹwo ni iwọn. Iwe naa ṣe ijabọ paramita kekere ati awọn ibeere iranti, agbegbe kọja awọn ṣiṣan to ku, akiyesi, ati awọn paati MLP, ati awọn awari lati awọn iwadii ọran itumọ mẹta.
Iwe naa, ti a fi silẹ si arXiv ni Oṣu Kẹjọ. Awọn ọna lẹnsi maapu awọn iṣẹ ṣiṣe agbedemeji si awọn fokabulari awoṣe ti awoṣe, gbigba awọn oniwadi laaye lati ṣayẹwo bii awọn asọtẹlẹ ami atẹle ṣe ndagba nipasẹ awọn apakan atẹle ti nẹtiwọọki kan. Orisun ti a pese n ṣe agbekalẹ akọle iwe naa, iwe-aṣẹ, ọjọ ifisilẹ ati áljẹbrà; ko ṣe idaniloju awọn idanwo tabi awọn ipinnu wọn ni ominira.
Awọn onkọwe ṣe idanimọ awọn iṣoro wiwọn meji ni awọn lẹnsi ikẹkọ iṣaaju. Awọn onitumọ Affine nilo nọmba awọn aye-aye ti o dagba ni imẹrin pẹlu iwọn awoṣe, lakoko ti ikẹkọ deede lodi si ipinpinpin Kullback-Leibler fokabulari n ṣẹda awọn ibeere iranti pataki. OmniLens n koju iṣoro akọkọ pẹlu awọn onitumọ ipo-kekere. Afoyemọ naa sọ pe eyi yipada fun idagbasoke paramita lẹnsi kan si laini ni iwọn awoṣe ati dinku awọn aye ikẹkọ nipasẹ to 98.4 ogorun.
Fun iṣoro iranti, OmniLens nlo Subset-KL, eyiti o ṣe ohun elo nikan ti a ti yan awọn iwe-ọrọ ọrọ lakoko ikẹkọ. Ipo Top-k rẹ ni ijabọ lati dinku iranti ikẹkọ tente oke nipasẹ ida 70. Ẹya ti a ṣe ayẹwo pataki jẹ apejuwe bi idaduro awọn gradients sitokasitik aiṣedeede fun ibi-afẹde KL ni kikun. Iwọnyi jẹ awọn abajade ati awọn abuda ti o royin nipasẹ awọn onkọwe iwe; Ọrọ ti a pese ko fun awọn isiro iranti pipe, awọn akoko ikẹkọ, awọn alaye ohun elo tabi awọn tabili lafiwe.
Awọn ifowopamọ ti a royin jẹ ki ohun ti awọn onkọwe pe apejọ ipon ti awọn lẹnsi 482 fun LLMA-3.3-70B. Wọn sọ pe eyi pese ni igba mẹfa ni agbegbe ti apẹrẹ ṣiṣan-ilọkuro ni ijinle kanna ati gba wọn laaye lati ṣayẹwo ṣiṣan-iku, akiyesi ati awọn imuṣiṣẹ MLP ni ilana kan. Kọja awọn iwadii ọran ti o kan wiwa abẹrẹ kiakia, abẹrẹ iranti hop pupọ ati isọdi majele, abstract sọ pe OmniLens tun ṣe awọn abajade titẹjade bọtini ni idiyele kekere. Ko ṣe idanimọ gbogbo abajade atunṣe tabi pese awọn metiriki abẹlẹ ninu ohun elo ti a pese.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Loye nibiti awoṣe kan ṣe awọn asọtẹlẹ ati nibiti awọn ilowosi yipada ihuwasi jẹ pataki fun ṣiṣatunṣe, iwadii aabo, ati iwadii imọ-jinlẹ. Ilowosi aarin OmniLens, ti awọn abajade ijabọ rẹ ba duro, ni lati jẹ ki itupalẹ awoṣe jakejado ni ilowo ju awọn ọna lẹnsi iṣaaju laaye.
Iṣe pataki ni iraye si iraye si itumọ itumọ awoṣe. Ti o ba ṣe ayẹwo awọn ipinlẹ inu nilo awọn aye ikẹkọ ti o dinku ati iranti ti o kere ju, awọn ẹgbẹ iwadii diẹ sii le ni anfani lati ṣe ayẹwo awọn awoṣe nla kuku diwọn itupalẹ si awọn eto kekere tabi kilasi dín ti awọn paati. Orisun naa ṣe atilẹyin eyi gẹgẹbi ibeere imuṣiṣẹ iwadii, kii ṣe ẹri pe OmniLens ti yipada ibojuwo iṣelọpọ tẹlẹ tabi idagbasoke awoṣe.
Iwe naa ṣe afihan iyatọ ti o ṣe pataki fun iṣẹ ailewu: paati nibiti ihuwasi ti han julọ le ma jẹ paati nibiti iyipada awoṣe jẹ doko julọ. Ọna kan ti o ṣe iwadii ọpọlọpọ awọn oriṣi paati le dinku eewu ti itọju ifihan agbara ti o rọrun bi aaye iṣakoso to dara julọ. Wiwa yẹn jẹ abajade nitori pe o koju awọn itumọ ti o da lori awọn ori akiyesi ẹni kọọkan tabi wiwo ṣiṣan-iku kan ṣoṣo.
Awọn iwadii ọran mẹta naa so ọna pọ si awọn agbegbe pẹlu awọn iwulo ti gbogbo eniyan. Wiwa abẹrẹ-kia ṣe awọn ifiyesi awọn igbiyanju lati ni agba awoṣe nipasẹ awọn ilana ninu awọn igbewọle rẹ. Awọn ifiyesi abẹrẹ iranti olona-hop bi o ṣe le ṣe afihan alaye tabi gbe kọja awọn igbesẹ ero lọpọlọpọ, lakoko ti agbegbe majele jẹ idamọ ibi ti ihuwasi ipalara ti jẹ aṣoju. Afoyemọ naa ko beere pe OmniLens ṣe idilọwọ awọn ihuwasi wọnyi, ṣe ilọsiwaju awọn aabo ti a fi ranṣẹ tabi funni ni alaye pipe ti wọn.
Awọn gbooro iwadi iye ni methodological. Apejọ lẹnsi jakejado awoṣe le ṣe iranlọwọ fun awọn oniwadi lati ṣe afiwe nibiti awọn ifihan agbara ti farahan, bawo ni wọn ṣe yipada kọja awọn fẹlẹfẹlẹ ati iru awọn ilowosi wo ni awọn ipa iwọnwọn. Bibẹẹkọ, orisun ti a pese ko fi idi rẹ mulẹ pe ọna naa jẹ idi ni gbogbo itupalẹ, pe awọn itumọ rẹ jẹ deede ni iyasọtọ, tabi pe awọn idinku iye owo ti a royin tọju gbogbo alaye to wulo. Awọn ibeere wọnyẹn jẹ agbedemeji si idajọ ipa iṣẹ naa.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
What is the best response when AI Models Explained makes a mistake in production?
Kini lati wo tókàn
Awọn idanwo atẹle ti o ṣe pataki jẹ atunwi ominira, itusilẹ awọn alaye imuse ati awọn ohun-ọṣọ awoṣe, igbelewọn kọja awọn adanwo LLAMA-3.3-70B ti a royin, ati ẹri pe hihan gbooro yori si awọn ilọsiwaju igbẹkẹle ni aabo gidi tabi awọn iṣẹ ṣiṣe igbẹkẹle.
Atunṣe yẹ ki o jẹ aaye ayẹwo akọkọ. Orisun naa ṣe ijabọ awọn abajade lati awọn idanwo awọn onkọwe, ṣugbọn ohun elo ti a pese ko ni ẹda ominira, ipinnu atunyẹwo ẹlẹgbẹ tabi igbelewọn ita. Awọn oluka yẹ ki o wa ijẹrisi pe paramita ati awọn idinku iranti ni idaduro labẹ awọn iṣeto ikẹkọ afiwera ati pe agbegbe 482-lẹnsi ti o royin le tun ṣe laisi awọn arosọ imọ-ẹrọ ti o farapamọ.
Apapọ jẹ ọrọ miiran ti a ko yanju. Afoyemọ naa funni ni apẹẹrẹ igbelowọn alaye fun LLAMA-3.3-70B o si sọ pe ilana naa kan si imuṣiṣẹ iwọn awoṣe eyikeyi, ṣugbọn ko ṣe afihan ibeere yẹn kọja awọn idile awoṣe ti o yatọ, awọn iwọn, awọn ọna ikẹkọ tabi awọn apẹrẹ fokabulari. Ko tun ṣe afihan boya awọn awari kanna nipa hihan ati idasi duro ni ita awọn iwadii ọran ti a darukọ mẹta.
Awọn alaye igbelewọn yoo pinnu iye igbẹkẹle lati gbe sinu awọn ipinnu ti o ni ibatan aabo. Orisun naa ko pese deede wiwa, didara isọdibilẹ, awọn oṣuwọn aṣeyọri idasi, awọn oṣuwọn-rere, tabi awọn asọye ti awọn abajade ti a tẹjade ti a ṣejade. Ko tun ṣe alaye boya ọna naa le ṣiṣẹ labẹ awọn iṣipopada pinpin, itọnju ọta tabi awọn imudojuiwọn awoṣe. Awọn imukuro wọnyẹn ṣe idiwọ idajọ kan nipa igbẹkẹle iṣiṣẹ.
Imuse ati wiwa yoo ni ipa boya eyi jẹ abajade iwadii tabi di ohun elo ti a lo lọpọlọpọ. Awọn ọna asopọ igbasilẹ ti a pese si iwe ati awọn faili orisun rẹ ṣugbọn ko sọ pe koodu, awọn lẹnsi ikẹkọ, awọn iwe data tabi awọn iwe afọwọkọ igbelewọn wa. O tun funni ni ẹri kankan nipa idiyele imuṣiṣẹ, idaduro, awọn ilolu ikọkọ tabi ibaramu pẹlu awọn awoṣe ohun-ini. Titi awọn alaye wọnyẹn ati awọn iwadii igba pipẹ yoo han, OmniLens jẹ itọju ti o dara julọ bi ọna itumọ ti o ni ileri dipo ọja aabo ti a fọwọsi.