DalšíDalší průvodce
Efekt ELIZA: Proč lidště vnímáme chatboti
Společnost
PRŮVODCE společností
Nadměrné odmítání (over-refusal) je situace, kdy model odmítne nezávadný požadavek, protože je chybně vyhodnocen jako nebezpečný nebo nepovolený.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Výzkumné benchmarky ukazují, že k chybným odmítnutím může docházet, ale míra závisí na modelu, promptu a benchmarku; poskytnutí legitimního kontextu může objasnit záměr, zatímco bezpečnostní hranice stále platí.
Safety systems are intended to prevent assistance that could cause harm. A related failure is over-refusal: the system declines a request that is actually benign. For example, a request about poison may be for theatrical fiction or safety education, while a superficially ordinary request may still seek harmful instructions. Context and intended use matter, but simply adding a benign label does not make a harmful request safe. Researchers have built benchmarks to measure this behavior. OR-Bench generated 80,000 “seemingly toxic” prompts judged benign, plus a 1,000-prompt harder subset and toxic comparison prompts; it evaluated 25 models across eight model families in its 2024 study. Because some prompt labels used model-based moderation and the dataset was designed around particular categories, results should be interpreted within that benchmark rather than as a universal refusal rate for today’s chatbots. Over-refusal can arise from ambiguous wording, missing context, or superficial similarity to harmful prompts. If a legitimate request is declined, clarify the benign goal, setting, and boundaries. Ask for safe, high-level information or a non-actionable alternative when appropriate. Do not use prompt tricks to evade safeguards or request harmful instructions under a false pretext. Model behavior also changes with versions and policies. For product teams, evaluate both false refusals on benign cases and appropriate refusals on harmful cases; reducing all refusals is not the goal. For users, a clear explanation of context may help, but a refusal can remain appropriate where a request would enable harm.
Uživatel vysvětluje, že otázka ohledně nebezpečné látky je určena pro nouzovou bezpečnost, a žádá o pokyny pro bezpečnou expozici.
Chatbot odmítne nezávadnou historickou analýzu, protože prompt obsahuje násilnou terminologii.
Produktový tým testuje neškodný prompt spárovaný se škodlivým promptem s použitím podobných slov.
Uživatel žádá o bezpečnou alternativu místo toho, aby se snažil maskovat nepovolený požadavek.
Výzkumníci vyvíjejí větší a rozmanitější benchmarky pro nadměrné odmítání, ale štítky a kategorie promptů stále ovlivňují naměřenou míru. Budoucí hodnocení budou muset testovat jemný kontext při zachování vysoké míry odmítnutí u skutečně škodlivých požadavků. Vylepšení produktů by se měla zaměřit na lepší rozlišování a užitečné bezpečné alternativy, nikoli na plošné potlačování odmítání. Uživatelé by měli očekávat, že se chování bude měnit s aktualizacemi modelů a bezpečnostních systémů. Benchmarky by měly i nadále zahrnovat jak nezávadné, tak škodlivé kontrolní případy napříč kategoriemi benchmarků a verzemi modelů.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Nadměrné odmítání (over-refusal) je situace, kdy model odmítne nezávadný požadavek, protože je chybně vyhodnocen jako nebezpečný nebo nepovolený. Výzkumné benchmarky ukazují, že k chybným odmítnutím může docházet, ale míra závisí na modelu, promptu a benchmarku; poskytnutí legitimního kontextu může objasnit záměr, zatímco bezpečnostní hranice stále platí.
Nadměrné odmítání popisuje odmítnutí skutečně nezávadného požadavku.
Návrh benchmarku a verze modelů omezují to, na co lze skóre zobecnit.
Kontext může pomoci odlišit neškodný úmysl od nebezpečného požadavku.
Snížení nadměrného odmítání by nemělo snižovat adekvátní bezpečnostní odmítnutí.
Hodnocení bezpečnosti by mělo odhalit falešné přijetí i falešné odmítnutí.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Efekt ELIZA: Proč lidště vnímáme chatboti
Společnost