Pada si Iroyin
AtunseAI Understanding finifini

Werewolf benchmark ri LLMs le overvalue gbẹkẹle olufisun

A benchmark ti 40 ìmọ-àdánù LLM atunto ri wipe esun le yi si dede 'igbagbo paapa nigbati awọn olufisun ti wa ni ibamu pẹlu awọn alatako ẹgbẹ.

4 min readRead the primary source
Source-provided image accompanying Werewolf benchmark finds LLMs can overvalue trusted accusers
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2609.12446
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Aṣepari
Idanwo idiwon tabi data ti a lo lati ṣe iwọn ati ṣe afiwe iṣẹ awoṣe.
Awoṣe Ede nla (LLM)
Awoṣe ede ti a ṣe ikẹkọ lori titobi ọrọ corpora lati ṣe ipilẹṣẹ ati itupalẹ ọrọ.
Àtúnyẹ̀wò
Awọn akole ti eniyan ṣafikun tabi metadata ti a lo lati ṣe ikẹkọ tabi ṣe iṣiro awọn awoṣe ikẹkọ ẹrọ.
Ṣe idanwo fun ara rẹAwọn awoṣe AI ti ṣalaye adanwo

Kini o ṣẹlẹ

Awọn oniwadi ṣafihan ala-ilẹ Werewolf kan ti o ṣe iwọn bi wiwo LLM ṣe ṣe imudojuiwọn awọn igbagbọ wọn lẹhin gbigba ifura ati awọn ifiranṣẹ ẹsun. Kọja awọn ifiranṣẹ asọye 1,224 ati awọn atunto awoṣe iwuwo-ìmọ 40, awọn awoṣe ti o tobi julọ nigbagbogbo ṣe idanimọ awọn wolves tootọ lati itan ere ṣugbọn o wa ni ipa ti o lagbara nipasẹ awọn ẹsun ati akiyesi igbẹkẹle ti olufisun naa.

Iwe naa ṣe imọran igbelewọn awọn iṣipopada igbagbọ dipo gbigbekele nikan lori abajade ikẹhin ti ere ayọkuro awujọ. Ninu iṣeto rẹ, awoṣe ẹgbẹ abule ti n ṣakiyesi gba awọn ifiranṣẹ ere, pẹlu awọn ifura ati awọn ẹsun, ati awọn oniwadi ṣe iwọn bi awọn igbagbọ rẹ ṣe yipada lẹhin ifiranṣẹ kọọkan.

Awọn ijabọ áljẹbrà naa awọn abajade lati awọn atunto LLM iwuwo-ìmọ 40 ati awọn ifiranṣẹ asọye 1,224. Awọn awoṣe ti o tobi julọ ṣe dara julọ ni iyatọ awọn wolves lati awọn abule ni lilo itan-akọọlẹ ere ni kikun. Sibẹsibẹ, awọn ẹsun tun pọ si ifura si olufisun ati idinku ifura si olufisun naa, paapaa nigbati olufisun naa ti ni igbẹkẹle tẹlẹ.

Apẹẹrẹ ti a royin naa duro paapaa nigbati olufisun ti o gbẹkẹle jẹ Ikooko. Awọn awoṣe ti o tobi ju ni anfani lati koju awọn ẹsun lati ọdọ awọn olufisun ti wọn ko ni igbẹkẹle tẹlẹ, ṣugbọn awọn awoṣe to awọn iwọn 120 bilionu tun tiraka lati ṣepọ akoonu ẹsun naa pẹlu igbẹkẹle orisun rẹ. Orisun ko pese alaye alaye fun awọn ikun awoṣe-kọọkan, aidaniloju iṣiro, tabi ẹda ominira ninu ọrọ ti a pese.

Awọn alaye orisun: arxiv.org ↗

Kini idi ti o ṣe pataki

Iwadi na n ṣe idanimọ ailera kan pato ninu ibaraẹnisọrọ ilana: awọn awoṣe le ma ya sọtọ ni kikun igbẹkẹle ti agbọrọsọ lati ẹri ti o wa ninu ẹtọ ti agbọrọsọ naa. Iyẹn ṣe pataki fun awọn aṣoju LLM ti n ṣiṣẹ ni awọn eto nibiti awọn ifiranṣẹ le jẹ yiyan, ẹtan, tabi ọta. Abajade jẹ ala-ilẹ ati wiwa iwadii, kii ṣe ẹri pe gbogbo awọn eto AI ti a fi ranṣẹ ṣe huwa ni ọna yii tabi pe igbelewọn gbogbogbo kọja Werewolf.

Fun awọn oniwadi ti n ṣe iṣiro awọn aṣoju LLM, abajade ni imọran pe aṣeyọri ere ikẹhin le tọju awọn ailagbara pataki ni ero agbedemeji ati imudojuiwọn igbagbọ. Awoṣe le de ọdọ ipinnu ti o ṣeeṣe lakoko ti o tun jẹ iwọn apọju ti o fi ẹtọ kan kuku ju ṣe iṣiro ẹtọ naa lẹgbẹẹ ẹri ti o wa.

Itumọ ti o wulo jẹ opin ṣugbọn o wulo: awọn igbelewọn ti awọn aṣoju ti o ṣe ibasọrọ tabi ṣe awọn ipinnu lati awọn ijabọ pupọ le nilo lati wiwọn awọn iyipada igbagbọ lẹhin awọn ifiranṣẹ kọọkan, pẹlu awọn ọran nibiti agbọrọsọ ti o gbagbọ jẹ ṣina. Iwadi naa ko fi idi rẹ mulẹ pe ihuwasi kanna waye ni awọn ọja ti a fi ranṣẹ tabi ni awọn eto ti kii ṣe ere.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Thinking Budget (Test-Time Tokens):1,024 tokens
Complex Accuracy79%Math & Code Logic
Latency3.2sTime to first full output
Inference Cost$0.0092Per query estimated
Reasoning StyleStep VerificationInternal chain depth
Active Thinking Trace:
1Deconstruct user problem into formal constraints
2Propose candidate hypotheses & step-by-step calculation
3Self-correction: Backtrack and refute subtle edge cases
4Exhaustive consistency check & final output synthesis
Core takeaway: Test-time compute fundamentally changes AI economics. Instead of only scaling during pre-training, giving reasoning models more tokens at inference time allows them to systematically solve PhD-level STEM problems.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Models Explained Quiz

Which component of an AI application is the machine-learning model itself?

Kini lati wo tókàn

Awọn ala ati koodu wa nipasẹ oju opo wẹẹbu ise agbese, ṣugbọn orisun ko sọ iwe-aṣẹ, awọn alaye alejo gbigba, tabi boya awọn awoṣe ti a ṣe ayẹwo wa fun lilo gbogbo eniyan. Iṣẹ siwaju sii yẹ ki o ṣe idanwo boya wiwa awọn gbigbe si awọn iṣẹ-ṣiṣe ibaraẹnisọrọ miiran, boya ikẹkọ ṣe imudara ero-ọrọ orisun, ati iye awọn abajade da lori apẹrẹ ere ati awọn yiyan asọye.

Awọn onkọwe sọ pe ala ati koodu wa ni oju-iwe iṣẹ akanṣe. Orisun ti a pese ko ṣe iwe awọn ibeere iraye si, iwe-aṣẹ, idiyele, awọn ilana atilẹyin, tabi boya aami ala pẹlu awọn abajade awoṣe kọja awọn ifiranse asọye.

Awọn aimọ ti o ṣe pataki pẹlu bii awọn ifiranṣẹ ti ṣe ipilẹṣẹ ati asọye, bawo ni a ṣe fi idi igbẹkẹle mulẹ, boya awọn abajade jẹ iṣiro logan kọja awọn awoṣe kọọkan, ati boya awọn awoṣe ti ilọsiwaju ti itan-akọọlẹ ere ti o ni ilọsiwaju tumọ si resistance to dara julọ si ifọwọyi.

Atunse kọja awọn iṣẹ-ṣiṣe ibaraẹnisọrọ ilana miiran yoo ṣe iranlọwọ lati pinnu boya eyi jẹ ipa kan pato Werewolf tabi aropin gbooro ni bii awọn aṣoju LLM ṣe ṣajọpọ igbẹkẹle orisun pẹlu akoonu ẹsun.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn awoṣe AI ti ṣalayeAwọn aṣoju AIÌlànà Ìwà AIṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ waTẹle olutọpa idasilẹ awoṣe AI
Ṣe eyi wulo?