Kini o ṣẹlẹ
Iwadi tuntun ti a tẹjade lori arXiv ṣe iwadii ibatan laarin awọn iyipada aṣoju-titun-titun-induced ni Awọn awoṣe Ede nla (LLMs) ati awọn paati okunfa ti o ni iduro fun iṣẹ ṣiṣe, bi idanimọ nipasẹ EAP (Edge Attribution Patching).
Iwadi na ṣe ayẹwo bi o ṣe tun ṣe atunṣe ti o dara ṣe atunṣe awọn ilana inu, ni pataki ni idojukọ lori awọn ilana ifarabalẹ ati awọn imuṣiṣẹ ọlọgbọn-labẹ. Lilo EAP, awọn oniwadi ṣe idanimọ awọn paati kan pato-gẹgẹbi awọn ori akiyesi ati awọn imuṣiṣẹ ipele-logit—ti o ṣe adaṣe iṣẹ ṣiṣe taara.
Awọn oniwadi ṣe awari pe awọn paati ti o nii ṣe iṣẹ-ṣiṣe ni ogidi laarin awọn ipele kan pato, ni iyanju iwọn kan ti isọdi iṣẹ. Bibẹẹkọ, awọn fẹlẹfẹlẹ ti o faragba awọn iyipada aṣoju pataki julọ lakoko iṣatunṣe itanran ko ni ibamu pẹlu awọn fẹlẹfẹlẹ ti o ni awọn paati idii wọnyi.
Iwadi na siwaju sii ṣawari iṣẹ ṣiṣe-agbelebu. O rii pe paapaa nigbati awọn iṣẹ-ṣiṣe ba pin iwọn giga ti agbekọja ninu awọn paati okunfa ti idanimọ EAP wọn, eyi ko ṣe iṣeduro gbigbe iṣẹ ṣiṣe rere. Ni awọn igba miiran, ṣiṣe atunṣe daradara lori iṣẹ-ṣiṣe kan ni o bajẹ iṣẹ ṣiṣe lori ekeji, laibikita faaji idi ti o pin.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Iwadi yii koju arosinu pe awọn iyipada awoṣe inu inu ti o pọju lakoko ṣiṣe atunṣe jẹ pataki tabi anfani fun iṣẹ ṣiṣe. Nipa ṣe afihan pe awọn iṣipopada aṣoju nigbagbogbo n yọkuro lati awọn ọna ṣiṣe okunfa, iwadi naa ṣe afihan ailagbara pataki ninu awọn ilana ikẹkọ lọwọlọwọ. O ni imọran pe iṣatunṣe ti o dara le ṣe idamu iduroṣinṣin awoṣe lairotẹlẹ, bi a ti jẹri nipasẹ wiwa pe awọn paati okunfa agbekọja laarin awọn iṣẹ-ṣiṣe le ja si ibajẹ iṣẹ kuku ju gbigbe rere lọ.
Iyọkuro ti awọn iyipada aṣoju lati pataki idi ni imọran pe awọn ilana atunṣe-finnifinni lọwọlọwọ le jẹ 'ariwo,' iyipada awọn ẹya ti awoṣe ti ko ṣe alabapin si awọn abajade iṣẹ-ṣiṣe ti o fẹ. Eyi n pese ipilẹ imọ-jinlẹ fun idi ti iṣatunṣe itanran le ja si igbagbe ajalu tabi iṣẹ ṣiṣe airotẹlẹ silẹ.
Wiwa pe awọn paati okunfa agbekọja le ja si ibajẹ iṣẹ jẹ pataki pataki fun ikẹkọ iṣẹ-ṣiṣe pupọ. O tumọ si pe pinpin awọn paati larọwọto laarin awọn iṣẹ ṣiṣe ko to fun aṣeyọri ati pe iru awọn iṣẹ ṣiṣe (fun apẹẹrẹ, isọdi la iran) ṣe ipa pataki ninu bii awọn paati wọnyi ṣe nlo.
Iṣẹ yii n pese ilana kan fun awọn olupilẹṣẹ lati ṣe iṣiro daradara daradara ti awọn opo gigun ti o dara-titun-tuntun wọn, ti o ni agbara ti o yori si awọn ọna ikẹkọ ti o munadoko diẹ sii ti o dojukọ lori iyipada nikan awọn paati okunfa ti o wulo julọ.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
In AI, what are a model's "parameters"?
Kini lati wo tókàn
Iwadi ojo iwaju sinu awọn ọna isọdọtun ti o dara ti o fojusi diẹ sii ti o ṣe pataki awọn paati okunfa lori awọn imudojuiwọn aṣoju gbooro, ati boya awọn awari wọnyi waye kọja awọn ọna faaji awoṣe ti o yatọ ju awọn ti idanwo ninu iwadii lọ.
Iwadi naa ko ṣe pato awọn awoṣe gangan ti a ṣe idanwo tabi wiwa koodu ti a lo fun itupalẹ EAP, nlọ imuse ti o wulo fun awọn oniṣẹ lọwọlọwọ aimọ.
Awọn oluwoye yẹ ki o ṣọra boya awọn awari wọnyi yoo yorisi idagbasoke ti awọn imọ-ẹrọ atunṣe-daradara ti o ni ifọkansi lati dinku awọn iyipada aṣoju ti ko wulo.
O wa lati rii boya awọn abajade wọnyi ba wa ni ibamu laarin awọn titobi awoṣe ati awọn ile ayaworan, tabi ti wọn ba ni pato si awọn awoṣe ti a ṣe atupale ninu iwadii yii.