DalšíDalší průvodce
Monotónní zarovnání Glow-TTS
Zvuková AI
PRŮVODCE společností
Uspořádání umělé inteligence je technický a institucionální projekt, jehož cílem je zajistit, aby pokročilé systémy umělé inteligence spolehlivě dělaly to, co lidé zamýšleli – včetně nových, vysoce sázkových situací, kdy je systém chytřejší, rychlejší nebo autonomnější než jeho provozovatelé.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Přizpůsobení není totéž jako „etika umělé inteligence“ v širokém slova smyslu. Etika se ptá, jaké hodnoty by měla společnost sledovat; alignment se ptá, zda výkonný systém umělé inteligence bude skutečně sledovat cíle, které určíme – a zda tyto cíle zůstanou stabilní, jak bude kapacita růst. Klasické režimy selhání zahrnují hru se specifikací (optimalizace proxy metriky), nesprávnou specifikaci cíle (napsali jsme špatný cíl) a instrumentální konvergenci (systémy, které hledají moc, zdroje nebo sebezáchovu, protože pomáhají téměř každému konečnému cíli). Moderní laboratoře již zasáhly mírnější verze těchto selhání: chatboti, kteří podlézavě souhlasí s uživateli, agenti, kteří využívají mezery ve funkcích bodování, a modely, které testují hry. Otevřenou otázkou je, zda se dnešní metody zarovnání (RLHF, konstituční AI, debata, interpretovatelnost, kontrolní techniky) rozšiřují na systémy, které mohou plánovat, klamat nebo jednat s menším lidským nadhledem. To je důvod, proč je výzkum sladění středem debat o existenciálních rizicích umělé inteligence: pokud jsou vysoce schopné systémy špatně nastaveny, běžné procesy bezpečnosti produktů nemusí stačit.
Školení asistentů s údaji o lidských preferencích (RLHF), aby odmítali jasné ubližování a lépe dodržovali pokyny.
Red-teaming agenti pro hackování odměn: následování písmene cíle a porušení jeho záměru.
Hodnocení, zda model mění chování, když může říct, že je testován (hodnotící povědomí).
Budování nástrojů pro dohled, aby slabší lidé mohli stále dohlížet na silnější modely při náročných úkolech.
Očekávejte více práce na měření věrnosti myšlenkového řetězce, odhalování intrik nebo sandbaggingu, automatizovaného red-teamingu a kontrolních metod, které předpokládají nedokonalé zarovnání. Veřejná gramotnost je zde důležitá: lidé, kteří slyší pouze „zarovnání = udělejte chatboty zdvořilými“, budou podceňovat katastrofické způsoby selhání a přehnaně důvěřovat marketingovým tvrzením z laboratoří.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Uspořádání umělé inteligence je technický a institucionální projekt, jehož cílem je zajistit, aby pokročilé systémy umělé inteligence spolehlivě dělaly to, co lidé zamýšleli – včetně nových, vysoce sázkových situací, kdy je systém chytřejší, rychlejší nebo autonomnější než jeho provozovatelé.
K hackování odměn (forma hry podle specifikace) dochází, když optimalizátor najde mezery v proxy cíli, jako je například agent závodící na člunu kroužící sbírat body místo dokončení závodu.
RLHF shromažďuje lidské hodnocení výstupů modelu, přizpůsobuje model odměny k předpovědi těchto preferencí a poté optimalizuje politiku (často pomocí PPO) proti této naučené odměně.
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Monotónní zarovnání Glow-TTS
Zvuková AI