Benchmarking Factual Stroke of LLMs nipasẹ Olona-ibaraẹnisọrọ Persuasion

Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ 16 Oṣù Owewe 2026, 05:20 UTC

Olutẹwe: arxiv.org
Orisun ọna asopọ: arxiv.orghttps://arxiv.org/abs/2609.16777
Orisun iru: Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.

AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Agbara: Agbara awoṣe lati ṣetọju iṣẹ ṣiṣe labẹ ariwo, awọn iyipada, tabi awọn igbewọle ọta.
Iranti (Iranti Aṣoju): Ọgangan ipamọ ti o jẹ aṣoju AI nlo kọja awọn igbesẹ tabi awọn akoko lati mu ilọsiwaju sii.
Eto data: Àkójọpọ̀ àwọn àpẹrẹ ìtòlẹ́sẹẹsẹ tàbí àìríkọ́ tí a lò fún ìdánilẹ́kọ̀ọ́, ìmúdájú, tàbí ìdánwò.

Ṣe idanwo fun ara rẹKini AI? Idanwo

Kini o ṣẹlẹ

Awọn oniwadi ṣe agbekalẹ ilana SAST-IR lati ṣe iṣiro agbara ti Awọn awoṣe Ede nla lodi si awọn ikọlu idaniloju. Ilana naa ṣe afarawe eto ọta ti ọran ti o buru julọ nipa fifi ipa mu ese iranti sori awoṣe ibi-afẹde lakoko idaduro itan-akọọlẹ ikọlu naa. Awọn adanwo lori aṣa data CounterFact-Strict mu awọn abajade didamu jade, pẹlu awọn ilana ikọlu ti o rọrun ti n ṣaṣeyọri oṣuwọn aṣeyọri 96%.

Ilana naa ṣe afarawe eto ọta ti ọran ti o buru julọ nipa fifi ipa mu ese iranti sori awoṣe ibi-afẹde lakoko idaduro itan-akọọlẹ ikọlu naa.

Awọn adanwo lori aṣa data CounterFact-Strict mu awọn abajade didamu jade, pẹlu awọn ilana ikọlu ti o rọrun ti n ṣaṣeyọri oṣuwọn aṣeyọri 96%.

Awọn alaye orisun: arxiv.org ↗

Kini idi ti o ṣe pataki

Agbara ti Awọn awoṣe Ede Nla lodi si awọn ikọlu idaniloju jẹ ibakcdun aabo to ṣe pataki. Ilana SAST-IR n pese ohun elo tuntun fun ṣiṣe iṣiro agbara ti awọn awoṣe wọnyi ati idamo awọn ailagbara ti o pọju.

Ilana SAST-IR n pese ohun elo tuntun fun ṣiṣe iṣiro agbara ti Awọn awoṣe Ede nla lodi si awọn ikọlu idaniloju.

Ilana naa ṣe afiwe eto ọta ti ọran ti o buruju, ṣiṣe ni ohun elo ti o niyelori fun idamo awọn ailagbara ti o pọju ninu awọn awoṣe wọnyi.

Awọn abajade ti awọn adanwo lori aṣa data CounterFact-Strict jẹ itaniji, pẹlu awọn ilana ikọlu ti o rọrun ni iyọrisi oṣuwọn aṣeyọri 96%.

Ilana SAST-IR le ṣee lo lati ṣe idanimọ awọn ailagbara ti o pọju ninu Awọn awoṣe Ede nla ati lati ṣe agbekalẹ awọn ilana aabo to lagbara diẹ sii.

Ilana naa tun le ṣee lo lati ṣe iṣiro imunadoko ti awọn ilana aabo oriṣiriṣi ati lati ṣe idanimọ awọn ọna ti o munadoko julọ.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Document Size:128K tokens

Needle Placement Depth (Location in document):50% into text

Attention Context Buffer Map:

Target Fact (50%)

Equivalent Pages~320Standard book pages

Retrieval Accuracy99.9%Needle recall score

RAM / KV Cache5.1 GBMemory overhead

Prompt CachingActive~80% discount on reuse

Core takeaway: Million-token context windows allow querying whole codebases or legal archives in one prompt. However, KV cache memory scales with context length, making prompt caching crucial for real-time production.

Ibanisọrọ Erongba Ṣayẹwo+10 Points

What is AI? Quiz

A route planner searches possible journeys using explicit rules. What does this illustrate about AI?

Kini lati wo tókàn

Awọn idagbasoke ti diẹ logan olugbeja ogbon lodi si persuasion ku.

Idagbasoke awọn ilana aabo ti o lagbara diẹ sii lodi si awọn ikọlu idaniloju jẹ pataki fun idaniloju aabo ati igbẹkẹle ti Awọn awoṣe Ede nla.

Ilana SAST-IR n pese ohun elo tuntun fun ṣiṣe iṣiro agbara ti awọn awoṣe wọnyi ati idamo awọn ailagbara ti o pọju.

Ilana naa le ṣee lo lati ṣe idanimọ awọn ailagbara ti o pọju ninu Awọn awoṣe Ede nla ati lati ṣe agbekalẹ awọn ilana aabo to lagbara diẹ sii.

Ilana SAST-IR tun le ṣee lo lati ṣe iṣiro imunadoko ti awọn ilana aabo oriṣiriṣi ati lati ṣe idanimọ awọn ọna ti o munadoko julọ.

Idagbasoke awọn ilana aabo ti o lagbara diẹ sii lodi si awọn ikọlu idaniloju yoo nilo ifowosowopo ti awọn oniwadi, awọn olupilẹṣẹ, ati awọn amoye ile-iṣẹ.

Awọn itọsọna ti o jọmọ & awọn ibeere

Kini AI?ChatGPT & LLMs Ìlànà Ìwà AI Awọn aṣoju AI Ṣe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kan Wa ọrọ AI kan ninu iwe-itumọ wa Tẹle olutọpa idasilẹ awoṣe AI

Ṣe eyi wulo?