Pada si Iroyin
ÀàbòAI Understanding finifini

Preprint daba ọna jiometirika lati ṣawari ihuwasi AI ẹtan kọja awọn iwadii laini

Atẹjade tuntun arXiv kan ni imọran wiwọn jiometirika ti itọkasi awoṣe lati ṣe idanimọ ihuwasi ẹtan ti awọn iwadii laini aṣa le padanu.

5 min readRead the primary source
Primary-source image accompanying Preprint proposes geometric method to detect deceptive AI behavior beyond linear probes
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2608.24037
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Awoṣe Ede nla (LLM)
Awoṣe ede ti a ṣe ikẹkọ lori titobi ọrọ corpora lati ṣe ipilẹṣẹ ati itupalẹ ọrọ.
Iyasọtọ
Iṣẹ-ṣiṣe nibiti awoṣe kan ti n fi igbewọle si ọkan tabi diẹ ẹ sii awọn ẹka ti a ti ni asọye.
Eto Igbelewọn
Atokọ data ti o waye ti a lo lati wiwọn didara awoṣe lẹhin ikẹkọ.
Ṣe idanwo fun ara rẹAwọn awoṣe AI ti ṣalaye adanwo

Kini o ṣẹlẹ

Atẹwe arXiv kan ṣafihan ọna kan ti a pe ni agbegbe dada semantic, ti a ṣe lati ṣawari awọn ilana jiometirika ti o ni nkan ṣe pẹlu awọn abajade awoṣe ẹtan. Iwe naa jiyan pe awọn ọna-iwadii laini le ṣiṣẹ daradara fun awọn ẹhin atọwọda ṣugbọn o le ma gba ẹtan ti o farahan nipasẹ ikẹkọ adayeba diẹ sii tabi eka, awọn ipo-iyipada pupọ.

Iwe naa, ti a fi silẹ si arXiv ni Oṣu Kẹjọ. Iṣẹ iṣaaju yẹn lo awọn ile ẹhin atọwọda ati pe a royin rii pe awọn iwadii laini le rii wọn pẹlu deede diẹ sii ju 99%. Awọn ibeere iwe tuntun boya abajade yẹn n gbe lọ si titete ẹtan ti n yọ jade nipa ti ara, jiyàn pe fifi sii ile ẹhin le ṣẹda awọn ifihan agbara laini irọrun ti o rọrun ti kii yoo han dandan ni ihuwasi fafa diẹ sii. Iyatọ naa wa laarin ifihan agbara ti o ṣẹda nipasẹ iṣeto idanwo ati apẹrẹ ti o han bi apakan ti ihuwasi awoṣe gbooro. Iwe naa ṣafihan eyi bi ibeere fun wiwọn, kii ṣe bi ipari ti a fihan.

Lati ṣe iwadi iṣeeṣe yẹn, awọn onkọwe ṣapejuwe ilana ilana iṣe-aye ti o da lori awọn ferese ọrọ-iyipada pupọ. Ọna naa ni ipinnu lati ṣe afiwe awọn ero ẹtan nipasẹ idagbasoke diẹdiẹ ti ọrọ-ọrọ dipo nipasẹ ilana okunfa-ati-idahun alakomeji. Iwe naa sọ pe ko lo awọn ile ẹhin, awọn akole tabi awọn iwadii lati gbe awọn wiwọn jiometirika jade. Dipo, o ṣe ayẹwo bi itumọ ṣe ndagba ni aaye aloku ti a ko ṣe deede ti awoṣe. Itọkasi lori ọrọ-ọrọ didiẹ jẹ aringbungbun si igbekalẹ iwe naa. O tumọ si lati jẹ ki wiwọn ṣe afihan bi itumo ṣe yipada kọja ibaraenisepo, dipo boya boya ipo kan wa.

Metiriki ti a dabaa, agbegbe dada atunmọ, ni a ṣapejuwe bi wiwọn mejeeji titobi iyipada aṣoju ati iyipada itọsọna ti o kan ninu kikọ itumọ. Awọn onkọwe ṣajọpọ metric yẹn pẹlu awọn itupalẹ ti ìsépo ati salience. Wọn ṣe iyasọtọ awọn abajade awoṣe nipa lilo ifọkanbalẹ LLM ati jabo pe igbekalẹ jiometirika ni igbẹkẹle sọ asọtẹlẹ isọdi atunmọ kọja awọn ilana iyara marun ati awọn idile awoṣe meji. Orisun ko ṣe idanimọ awọn awoṣe wọnyẹn tabi ṣapejuwe iwọn ti ṣeto igbelewọn abẹlẹ. Awọn paati wọnyi jẹ itọju bi awọn iwo ibaramu ti ilana itọka kanna. Asọtẹlẹ ti a royin naa kan isọdi atunmọ ni eto idanwo, ati pe iwe naa fi aaye ti abajade yẹn silẹ ni ṣiṣi.

Awọn alaye orisun: arxiv.org ↗

Kini idi ti o ṣe pataki

Ti o ba jẹ pe ilana ti o royin jẹ gbogbogbo, ọna naa le funni ni ọna miiran lati ṣe iṣiro awọn eto AI fun ihuwasi ẹtan laisi gbigbekele awọn okunfa atọwọda, fifi sii ẹhin ti a ṣe abojuto tabi awọn iwadii aṣa. Iyẹn le ṣe pataki fun idanwo ailewu, botilẹjẹpe orisun n ṣapejuwe abajade iwadii dipo ohun elo iṣelọpọ ti a fọwọsi.

Ipilẹṣẹ akọkọ ti iwe naa jẹ iyipada ti a dabaa ni itọkasi: dipo wiwa fun ẹya-ara laini ti o rọrun ti o yapa ẹtan kuro ninu awọn abajade ti kii ṣe ẹtan, o ṣe ayẹwo apẹrẹ ati iye iyipada aṣoju lakoko itọkasi. Iyatọ yẹn ṣe pataki nitori awoṣe le yago fun ṣiṣafihan ifihan agbara laini iduroṣinṣin lakoko ti o tun n ṣe awọn ilana inu ti o ni nkan ṣe pẹlu iru ero kan pato. Iwe naa sọ pe awọn ibuwọlu jiometirika le wa ni wiwa paapaa nigbati ipinya ba han ariwo. Ni ori yẹn, ọna naa ni a gbekalẹ bi ọna lati ṣayẹwo aṣoju iyipada dipo ipo ti o wa titi ninu awoṣe. Iye rẹ yoo dale lori boya iyatọ yẹn wa lori awọn igbelewọn.

Awọn abajade iṣiro ti a royin ti gbekalẹ bi ẹri fun ẹtọ yẹn. Orisun naa sọ pe agbegbe dada atunmọ yatọ ni pataki kọja awọn ilana iyara idanwo ati awọn idile awoṣe. O funni ni apẹẹrẹ kan ninu eyiti imudara iwọn wiwọn yipada abajade lati ti kii ṣe pataki, pẹlu p = 0.555, si pataki, pẹlu p = 0.048. Eyi ni imọran pe awọn onkọwe wo iṣiro wiwọn bi apakan bọtini ti iṣoro wiwa. Bibẹẹkọ, orisun ko pese awọn iwọn ipa, awọn aarin igbẹkẹle, awọn ilana isọpọ-ọpọlọpọ tabi awọn alaye adanwo to lati ṣe ayẹwo agbara abajade ni ominira. Apeere naa ṣe apejuwe ariyanjiyan ti awọn onkọwe nipa titọ, lakoko ti o tun lọ kuro ni titobi ati agbara ti o ṣoro lati ṣe ayẹwo lati apejuwe ti o wa.

Anfaani ti o ni agbara ti o ni agbara ni pe ọna naa jẹ apejuwe bi a ko ni abojuto ati pe ko dale lori fifi sii ẹnu-ọna atọwọda. Ti o ba tun ṣe, iyẹn le jẹ ki o wulo bi ipele afikun ni awọn igbelewọn awoṣe, pataki fun awọn ihuwasi idanwo ti o ṣii lori awọn iyipada pupọ. Abajade naa jẹ ibeere iwadii kan lati atẹwe kan. Orisun naa ko fi idi rẹ mulẹ pe agbegbe dada atunmọ ṣe iwari titete ẹtan gangan, ṣe idiwọ ihuwasi ipalara tabi ṣe awọn igbelewọn aabo ti iṣeto ni awọn imuṣiṣẹ gidi. Awọn idiwọn wọnyẹn ṣalaye aafo laarin igbero wiwọn ti o ni ileri ati agbara aabo. Awọn ẹri afikun yoo nilo ṣaaju ki ọna naa le ṣe atilẹyin awọn ipinnu iṣẹ.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Thinking Budget (Test-Time Tokens):1,024 tokens
Complex Accuracy79%Math & Code Logic
Latency3.2sTime to first full output
Inference Cost$0.0092Per query estimated
Reasoning StyleStep VerificationInternal chain depth
Active Thinking Trace:
1Deconstruct user problem into formal constraints
2Propose candidate hypotheses & step-by-step calculation
3Self-correction: Backtrack and refute subtle edge cases
4Exhaustive consistency check & final output synthesis
Core takeaway: Test-time compute fundamentally changes AI economics. Instead of only scaling during pre-training, giving reasoning models more tokens at inference time allows them to systematically solve PhD-level STEM problems.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Models Explained Quiz

Which component of an AI application is the machine-learning model itself?

Kini lati wo tókàn

Awọn ibeere ṣiṣii aarin jẹ boya ọna naa n ṣiṣẹ ju awọn idile awoṣe meji lọ ati awọn ilana iyara marun ti a ṣe iwadi, boya awọn ipin rẹ gba pẹlu awọn amoye eniyan, ati boya o le ṣe idanimọ ihuwasi ẹtan ti o nilari ninu awọn eto imuṣiṣẹ. Orisun naa ko pese awọn orukọ awoṣe, awọn iwọn apẹẹrẹ, awọn iwọn ipa, wiwa koodu tabi ẹri lati awọn agbegbe iṣẹ.

Idanwo akọkọ jẹ atunṣe. Awọn oniwadi yoo nilo lati lo wiwọn naa si iṣeto idanwo kanna ati pinnu boya awọn iyatọ ti a royin jẹ igbẹkẹle iṣiro. Nitori awọn orukọ orisun bẹni awọn idile awoṣe meji tabi nọmba awọn itusilẹ ati awọn abajade ti a ṣe atupale, awọn oluka ko le ṣe idajọ bi ẹri naa ṣe gbooro tabi boya abajade da lori yiyan dín ti awọn eto ati awọn oju iṣẹlẹ. Atunse yoo tun ṣe alaye boya awọn wiwọn jiometirika kanna han nigbagbogbo nigbati a tun ṣe itupalẹ, ati boya ilana ti o royin jẹ ifarabalẹ si awọn itọsi ti o yan.

Ilana iyasọtọ tun ṣe atilẹyin ayẹwo. Iwe naa sọ pe awọn abajade awoṣe jẹ ipin nipasẹ ifọkanbalẹ LLM, ṣugbọn orisun ko sọ boya awọn amoye eniyan ṣe atunyẹwo ni ominira awọn ipin, bawo ni a ṣe ṣakoso awọn ariyanjiyan tabi boya awọn awoṣe igbelewọn yato si awọn awoṣe ti iṣiro. Awọn alaye wọnyẹn ṣe pataki nitori adajọ adaṣe le ṣafihan awọn aṣiṣe tirẹ, awọn arosinu ati awọn aibikita ti o ni ibatan sinu igbelewọn ailewu. Laisi awọn afiwera yẹn, o ṣoro lati yapa awọn ohun-ini wiwọn ọna lati awọn ero inu ti a ṣe sinu ilana isọdi rẹ.

Iṣẹ siwaju yẹ ki o ṣe idanwo boya ifihan jiometirika ye awọn ayipada ninu ọrọ-ọrọ, ipari ọrọ-ọrọ, faaji awoṣe ati awọn igbelewọn. O yẹ ki o tun ṣe afiwe ọna taara pẹlu awọn iwadii laini ati awọn ilana itumọ miiran labẹ awọn ipo ti o baamu. Ni pataki julọ, aaye naa yoo nilo ẹri pe ami ifihan ibaamu si ihuwasi ti o ṣe ibakcdun aabo gidi kuku kiki si eka itumọ tabi awọn iyatọ ninu igbekalẹ iyara. Orisun ko pese ẹri sibẹsibẹ nipa imuṣiṣẹ, idasilẹ koodu, ibojuwo iṣẹ tabi awọn aabo ti a ṣe lati ọna naa. Awọn ibeere wọnyi kan mejeeji iwulo ati iwulo. Ẹgbẹ ti o gbẹkẹle ninu idanwo iṣakoso yoo tun nilo lati sopọ si ibojuwo tabi idasi ni iṣe.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn awoṣe AI ti ṣalayeÌlànà Ìwà AIAI IkẹkọṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ waTẹle olutọpa ilana AI
Ṣe eyi wulo?