Pada si Iroyin
AtunseAI Understanding finifini

Preprint ṣe awọn irinṣẹ itumọ bi iṣoro wiwọn kan, ṣe idanwo lori GPT-2 ati Qwen

Onkọwe-ọkan kan arXiv preprint daba kikọ patching ibere ise, gradients ati awọn ọja Hessian-fekito bi iṣoro wiwọn laini kan, ati awọn ijabọ ti o waye-jade lori eto iṣakoso nkan isere, Tracr, GPT-2-kekere ati Qwen-2.5-7B.

6 min readRead the primary source
Primary-source figure accompanying Preprint casts interpretability tools as one measurement problem, tests it on GPT-2 and Qwen
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2608.19338
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

API (Àwòrán Ètò Ìlò)
Ọna ti a ṣeto fun eto sọfitiwia kan lati firanṣẹ awọn ibeere si ati gba awọn idahun lati eto miiran.
Imọye Oríkĕ (AI)
Awọn gbooro aaye ti ile awọn ọna šiše ti o ṣe awọn iṣẹ-ṣiṣe to nilo Àpẹẹrẹ ti idanimọ, ero, ede, tabi ipinnu-sise.
Ẹ̀kọ́ Ẹ̀rọ (ML)
Awọn ọna ti o gba awọn ọna ṣiṣe laaye lati kọ ẹkọ awọn ilana lati data ati ilọsiwaju ni akoko pupọ.
Ṣe idanwo fun ara rẹAwọn awoṣe AI ti ṣalaye adanwo

Kini o ṣẹlẹ

Iwe atẹjade onkọwe-ọkan kan ti a fiweranṣẹ si arXiv ni Oṣu Kẹjọ Ọjọ 19, Ọdun 2026 ṣe igbero itọju awọn ọna itumọ mechanistic - patching, isọdi gradient, awọn ọja Hessian-vector ati awọn ilowosi ipin - gẹgẹbi awọn iṣẹlẹ ti iṣoro wiwọn apẹrẹ kan, ati awọn idanwo awọn idanwo lori eto iṣakoso isere, Tracr-small-GPT Qwen-2.5-7B.

Iwe naa, "Tomography Mechanistic: Apẹrẹ Apẹrẹ fun Itumọ-Oorun Iṣakoso,” ni a ka si Vijay Erramilli ati ṣe atokọ labẹ ẹkọ ẹrọ ati oye atọwọda ni awọn oju-iwe 24 pẹlu awọn isiro 13. Ibẹrẹ akiyesi rẹ ni pe awọn oniwadi asọye fẹ awọn awoṣe titobi ko ṣe afihan taara - awọn ipinlẹ aṣoju, awọn ipa paati, awọn ibaraenisepo laarin awọn paati, ati awọn idahun si awọn ilowosi - ati pe awọn ilana ti o wa tẹlẹ ṣe iwọn awọn iwọn wọnyẹn labẹ awọn arosinu wiwọle oriṣiriṣi ati pe o le ma ṣe ibi-afẹde ohun kanna. Dipo ki o ṣe itọju patching imuṣiṣẹ, ifaramọ gradient, awọn ọja Hessian-vector ati awọn ilowosi ipin bi awọn ọna idije, onkọwe jiyan pe wọn pin eto wiwọn ati pe o le kọ ni fọọmu ti o wọpọ.

Fọọmu ti o wọpọ ni awoṣe laini y = Ax + w. Fi fun ipilẹ ti o yan ati idile awọn ilowosi, A ṣe koodu eyi ti awọn ilowosi ṣiṣẹ, x jẹ maapu ibi-afẹde ti oniwadi fẹ lati gba pada, ati w fa ohun ti fọọmu laini ko gba: esi ti kii ṣe lainidi, aṣiṣe iṣapẹẹrẹ, ati aiṣedeede ipilẹ. Idasilẹ naa ṣe ilana kan ju algorithm kan lọ - bẹrẹ pẹlu awọn wiwọn lawin ti o wa labẹ ipele iwọle rẹ, ṣe iṣiro lori awọn ilowosi ti o waye ni iwọn ti o pinnu lati ṣiṣẹ ni gaan, ṣe iwọn aiṣedeede ti o rọrun, lẹhinna faagun idile wiwọn nikan nigbati awọn iyoku eleto ba wa.

Iṣakoso jẹ eto ijẹrisi iwe, lori ariyanjiyan pe iṣiro ti a lo lati darí awoṣe kan di oluwoye inu lupu esi kan. Ninu eto ti a ṣe lati awọn awoṣe Markov meji ti o farapamọ, awọn ijabọ afọwọṣe n ṣakoso aṣiṣe ti n dide bi aṣiṣe oluwoye ti dide, ati awọn asia ipo ikuna ninu eyiti opoiye ti a fojusi ni ilọsiwaju lakoko ti ipo iparun n gbe. Labẹ iraye siwaju-nikan, o sọ pe awọn wiwọn apapọ ṣoki gba pada maapu ipa-ipari pẹlu awọn idawọle diẹ ju isọdọkan-nipasẹ-iṣakoṣo. Pẹlu iraye si gradient, awọn iwadii ipari ni ilọsiwaju maapu iyasọtọ agbegbe kan, lakoko ti awọn wiwọn gbe soke ati awọn ọja Hessian-vector gba awọn ibaraẹnisọrọ pada ti awọn maapu aṣẹ-akọkọ padanu. Awọn idanwo pẹlu Tracr - awọn oluyipada ti a ṣe akojọpọ pẹlu otitọ ilẹ ti a mọ - tọkasi idile wiwọn ti o nilo da lori ipilẹ ti o yan.

Awọn abajade awoṣe-ede meji ni a sọ. Lori iṣẹ idanimọ ohun aiṣe-taara ti GPT-2-kekere, Circuit ikẹkọ gigun ni iwe-kikọ yii, ibaraenisepo laarin Orukọ Mover ati Awọn oludari Orukọ Negetifu jẹ ọrọ asọtẹlẹ ti o tobi julọ ti o waye laarin awọn orisii ẹgbẹ-ẹgbẹ mẹta ti idanwo. Lori Qwen-2.5-7B, isọdiwọn ipari ṣe maapu afikun ti idahun kiko to peye, nitorinaa aṣiṣe ti o waye ko ṣe atilẹyin fifi awọn ofin ibaraenisepo meji pọ. Áljẹbrà naa ko ṣe ijabọ awọn iwọn ipa, melo ni awọn ilowosi ọna ti o ṣafipamọ, eyiti awọn eto to tọ tabi awọn iwọn apẹẹrẹ lo, tabi awọn ipilẹ ti o kọja isọdi ipoidojuko. Igbasilẹ Zenodo ti o ni ibatan ti wa ni atokọ lẹgbẹẹ titẹsi arXiv; Awọn akoonu inu rẹ ko ṣe apejuwe lori oju-iwe ti o ni imọran.

Awọn alaye orisun: arxiv.org

Kini idi ti o ṣe pataki

Awọn abajade itumọ ti wa ni lilo siwaju sii lati darí ihuwasi awoṣe, kii ṣe apejuwe rẹ nikan. Ilowosi iwe naa jẹ idanwo fun boya maapu inu jẹ deede to fun lilo yẹn, pẹlu ikilọ pe idasi idari le rii aṣeyọri lakoko ti nkan miiran n yipada.

Pupọ iṣẹ itumọ jẹ ijabọ bi wiwa nipa awoṣe: ori akiyesi yii ṣe iyẹn, ẹya yii ṣe koodu yẹn. Titẹ imuṣiṣẹ ti yi ibeere naa pada. Gbigbe idari kikọ, ṣiṣatunṣe imuṣiṣẹ ati ibojuwo ipele iyika gbogbo lo iṣiro inu inu lati yi ihuwasi pada, eyiti o jẹ ki deede iṣiro yẹn jẹ ibeere imọ-ẹrọ kuku ju didara ọmọ ile-iwe lọ. Simẹnti awọn ọna bi wiwọn ti a ṣe n funni ni fokabulari fun bibeere iye iwọn ti o nilo, ni ipele iwọle wo, ṣaaju idasi ti a ṣe lori oke rẹ le gbarale.

Idanwo idasi-jade-jade jẹ imọran gbigbe julọ ninu iwe naa. Awọn iṣeduro itumọ nigbagbogbo jẹ ifọwọsi ni lilo awọn ilowosi kanna ti a lo lati baamu wọn, eyiti o jẹ ki o ṣoro lati ṣe iyatọ ẹrọ gidi kan lati ọna ti o ṣẹlẹ lati baamu. Nbeere awọn asọtẹlẹ lati dimu awọn ilowosi duro lati ibamu, ati ni iwọn ti a pinnu fun lilo, jẹ ibawi ti o faramọ ni awọn iṣiro ati iṣakoso ti itumọ ti lo aiṣedeede. O tun jẹ ami iyasọtọ ti awọn oṣiṣẹ le gba laisi gbigba ilana ti o gbooro ti iwe naa.

Abajade ipo iparun jẹ iṣọra-ailewu, ṣugbọn o ti sọ ni eto isere kan. Ti idasi kan ba gbe opoiye ti a fojusi lakoko gbigbe ni idakẹjẹ gbigbe nkan miiran, igbelewọn ti o tọpa ibi-afẹde nikan yoo jabo aṣeyọri. Awọn maapu apẹrẹ yẹn sori awọn ifiyesi gidi nipa idari awoṣe kan kuro ninu iṣelọpọ aifẹ kan lakoko ti o n yipada ihuwasi ti ko ni ibatan. Iwe naa ṣe afihan rẹ ni eto HMM meji kuku ju ni awoṣe ede, ati pe ohun afọwọṣe ko beere bibẹẹkọ.

Awọn gige wiwa Qwen-2.5-7B lodi si idiju ti a ṣafikun, eyiti o tọ lati ṣe akiyesi nitori ohun elo itumọ tumọ duro lati dagba. Nibe, akọọlẹ aropọ ti o rọrun ti esi kiko ye ye idanwo ti o waye ati data naa ko ṣe alaye awọn ofin ibaraenisepo. Ka lẹgbẹẹ abajade GPT-2-kekere, nibiti ọrọ ibaraenisepo kan ti gbe iwuwo asọtẹlẹ, itumọ naa ni pe iye ẹrọ ti o tọ jẹ ibeere ti o ni agbara fun awoṣe, iṣẹ-ṣiṣe ati ipilẹ dipo yiyan ilana ti o wa titi.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

System Requirements:
Best ArchitecturePure RAGRecommended pattern
Hallucination RiskVery LowGrounding efficacy
Update Cost$0 (Vector sync)Ongoing maintenance
Core takeaway: Fine-tuning teaches models how to speak (form, style, syntax); RAG teaches models what to say (verifiable facts). Never use fine-tuning alone for factual memory.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Models Explained Quiz

In AI, what are a model's "parameters"?

Kini lati wo tókàn

Boya awọn idanwo ti o waye ni ẹda lori awọn awoṣe nla ati nipasẹ awọn ẹgbẹ ominira, boya koodu ati awọn eto idasi wa, ati boya awọn abajade ye atunyẹwo ẹlẹgbẹ.

Ibeere ti o ṣii lẹsẹkẹsẹ jẹ iwọn. Ẹri-awoṣe ede ti a royin jẹ iṣẹ-ṣiṣe kan lori GPT-2-kekere - awoṣe paramita miliọnu 124 kan ti a tu silẹ ni ọdun 2019 - ati maapu-idahun ikọsilẹ kan lori awoṣe paramita 7-biliọnu Qwen kan. Boya wiwọn apapọ ṣoki n tọju anfani idasi-kika rẹ lori awọn eto iwọn-aala lọwọlọwọ, nibiti awọn gbigbe siwaju jẹ idiyele ati iraye si nigbagbogbo ni opin si API kan, ko ni idojukọ ni kini awọn ipinlẹ alafojusi naa. Atunse olominira lori awọn idile awoṣe miiran yoo fihan boya ilana naa ṣe gbogbogbo tabi ti wa ni aifwy si awọn ọran wọnyi.

Wiwa ọrọ fun ayẹwo yẹn. Atokọ naa pẹlu Zenodo DOI ti o ni ibatan ati orisun TeX, ṣugbọn oju-iwe afọwọṣe ko ṣe apejuwe koodu itusilẹ, awọn eto idasi tabi awọn wiwọn ti a wọle. Atunse ibeere apẹrẹ-iwọn nilo ẹbi ilowosi deede ati ipilẹ, nitori abajade Tracr ti iwe naa sọ pe idile ti o nilo da lori ipilẹ. Awọn oluka yẹ ki o tun ṣe akiyesi eyi jẹ ikede-iṣaatẹ-ọkan pẹlu onkọwe ti a ṣe akojọ kan, ko si ibatan ti a sọ lori oju-iwe alafojusi, ati pe ko si iwe akọọlẹ tabi ibi apejọ; ko ti ṣe atunyẹwo ẹlẹgbẹ.

Lakotan, wo boya boṣewa asọtẹlẹ-jade-jade ni a mu ni ita iwe yii. Itumọ ti kojọpọ ọpọlọpọ awọn ilana igbelewọn igbero - awọn metiriki iṣotitọ, fifọ idi, awọn ipilẹ ablation - pẹlu isọdọmọ aidọgba. Ti awọn ẹgbẹ ti n ṣiṣẹ lori idari ati ibojuwo bẹrẹ jijabọ aṣiṣe ilowosi ti o waye lẹgbẹẹ awọn iṣeduro iyika wọn, iyẹn yoo jẹ ipa gidi kan boya tabi kii ṣe ilana adaṣe tomography funrararẹ. Paapaa deede wiwo ni boya ipo ikuna-ipinle iparun jẹ afihan ni awoṣe ede gidi kan, eyiti yoo sọ iṣọra ohun-iṣere kan si ibeere igbelewọn.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn awoṣe AI ti ṣalayeAyirapadaChatGPT & LLMsṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ wa
Ṣe eyi wulo?