LegközelebbKövetkező útmutató
Glow-TTS monoton igazítás
Hangalapú AI
Társadalom ÚTMUTATÓ
A mesterséges intelligencia összehangolása az a technikai és intézményi projekt, amelynek célja, hogy a fejlett AI-rendszereket megbízhatóan teljesítsék, amit az emberek szándékoznak – beleértve az újszerű, nagy téttel járó helyzeteket is, ahol a rendszer intelligensebb, gyorsabb vagy autonómabb, mint az üzemeltetői.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Az összehangolás nem azonos a tág értelemben vett „MI etikával”. Az etika azt kérdezi, hogy egy társadalomnak milyen értékeket kell követnie; Az alignment azt kérdezi, hogy egy hatékony AI-rendszer valóban megvalósítja-e az általunk meghatározott célokat – és hogy ezek a célok stabilak maradnak-e a képesség növekedésével. A klasszikus hibamódok közé tartozik a specifikációs játék (proxy metrika optimalizálása), a cél téves meghatározása (rossz célt írtunk) és az instrumentális konvergencia (olyan rendszerek, amelyek hatalomra, erőforrásokra vagy önfenntartásra törekednek, mert ezek szinte minden végső célt segítenek). A modern laboratóriumok már sújtják ezeknek a hibáknak az enyhébb verzióit: chatbotokat, amelyek szimpatikusan egyetértenek a felhasználókkal, ügynökökkel, amelyek kihasználják a pontozási funkciók kiskapuit, és modelleket, amelyek benchmarkokat játszanak. Nyitott kérdés, hogy a mai igazítási módszerek (RLHF, alkotmányos mesterségesintelligencia, vita, értelmezhetőség, ellenőrzési technikák) olyan rendszerekre méretezhetők-e, amelyek kevesebb emberi felügyelet mellett tudnak tervezni, megtéveszteni vagy cselekedni. Ezért van az, hogy az összehangolás kutatása áll az egzisztenciális mesterséges intelligencia kockázati vitáinak középpontjában: ha a nagy teljesítményű rendszereket rosszul illesztik, előfordulhat, hogy a szokásos termékbiztonsági eljárások nem elegendőek.
Képzési asszisztensek humán preferencia adatokkal (RLHF), így elutasítják az egyértelmű károkat, és jobban követik az utasításokat.
Red-teaming ügynökök jutalom-hackelésért: a gól betűjének követése, miközben megsérti annak szándékát.
Annak értékelése, hogy egy modell megváltoztatja-e a viselkedését, amikor azt tudja, hogy tesztelés alatt áll (értékelési tudatosság).
Felügyeleti eszközök kiépítése, hogy a gyengébb emberek továbbra is felügyelhessenek erősebb modelleket a nehéz feladatoknál.
További munkára számíthat a gondolatlánc hűségének mérése, a cselszövés vagy homokzsákok észlelése, az automatizált red-teaming és a tökéletlen igazodást feltételező vezérlési módszerek. A nyilvános műveltség itt számít: azok, akik csak azt hallják, hogy „igazítás = udvariassá teszik a chatbotokat”, alulsúlyozzák a katasztrofális meghibásodási módokat, és túlzottan megbíznak a laboratóriumok marketingállításaiban.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A mesterséges intelligencia összehangolása az a technikai és intézményi projekt, amelynek célja, hogy a fejlett AI-rendszereket megbízhatóan teljesítsék, amit az emberek szándékoznak – beleértve az újszerű, nagy téttel járó helyzeteket is, ahol a rendszer intelligensebb, gyorsabb vagy autonómabb, mint az üzemeltetői.
Jutalom-hackelés (a specifikációs játék egy formája) akkor fordul elő, ha egy optimalizáló kiskapukat talál egy proxy célban, például egy hajóverseny-ügynök köröz, hogy pontokat gyűjtsön ahelyett, hogy befejezné a versenyt.
Az RLHF összegyűjti a modelleredmények emberi rangsorát, beilleszt egy jutalmazási modellt, hogy előre jelezze ezeket a preferenciákat, majd optimalizálja a szabályzatot (gyakran PPO-val) a tanult jutalomhoz képest.
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Glow-TTS monoton igazítás
Hangalapú AI