Awujọ Itọsọna

AI titete

Titete AI jẹ iṣẹ-ṣiṣe imọ-ẹrọ ati igbekalẹ ti ṣiṣe awọn eto AI ti ilọsiwaju ni igbẹkẹle ṣe ohun ti eniyan pinnu - pẹlu aramada, awọn ipo giga-giga nibiti eto naa jẹ ijafafa, yiyara, tabi adase diẹ sii ju awọn oniṣẹ rẹ lọ.

2 min kakẹhin imudojuiwọn

Jin Dive

Iṣatunṣe kii ṣe kanna bii 'awọn iṣe iṣe AI' ni ọna gbooro. Ethics béèrè ohun ti iye a awujo yẹ ki o lepa; titete beere boya eto AI ti o lagbara yoo lepa awọn ibi-afẹde ti a pato - ati boya awọn ibi-afẹde wọnyẹn duro iduroṣinṣin bi agbara ṣe n dagba. Awọn ipo ikuna Ayebaye pẹlu ere sipesifikesonu (iṣapeye metiriki aṣoju), aiṣedeede ibi-afẹde (a kowe ibi-afẹde ti ko tọ), ati isọdọkan ohun elo (awọn eto ti o wa agbara, awọn orisun, tabi ifipamọ ara-ẹni nitori awọn iranlọwọ fere eyikeyi ibi-afẹde ikẹhin). Awọn ile-iṣẹ ode oni ti kọlu awọn ẹya ti o kere ju ti awọn ikuna wọnyi: chatbots ti o gba sycophantically pẹlu awọn olumulo, awọn aṣoju ti o lo awọn loopholes ni awọn iṣẹ igbelewọn, ati awọn awoṣe ti awọn ipilẹ ere. Ibeere ti o ṣii ni boya awọn ọna titete oni (RLHF, AI t’olofin, ariyanjiyan, itumọ, awọn ilana iṣakoso) iwọn si awọn eto ti o le gbero, tan, tabi ṣe pẹlu abojuto eniyan ti o dinku. Ti o ni idi ti iwadii titete joko ni aarin ti awọn ijiyan eewu AI ti o wa tẹlẹ: ti awọn eto ti o lagbara pupọ ba jẹ aiṣedeede, awọn ilana aabo ọja lasan le ma to.

Imọ-imọ-ẹrọ

Pupọ julọ 'titete' loni ni iṣapeye ayanfẹ lori oke awoṣe ipilẹ ti a ti kọkọ tẹlẹ: gba awọn ipo eniyan (tabi AI) ti awọn abajade, ṣe ikẹkọ awoṣe ere tabi lo awọn ọna yiyan taara (DPO ati awọn iyatọ), lẹhinna ṣe imudojuiwọn eto imulo naa. Iyẹn ṣe ilọsiwaju iranlọwọ apapọ ati dinku diẹ ninu awọn ipalara, ṣugbọn ko ṣe afihan awoṣe naa ni ibi-afẹde inu ti o baamu ero inu eniyan, tabi pe yoo huwa daradara labẹ iyipada pinpin, ile-ibẹwẹ gigun, tabi titẹ ọta. Itumọ, abojuto iwọn, ati igbelewọn fun ẹtan jẹ awọn igbiyanju lati lọ kọja ibamu oju ilẹ.

Ipa Ilana

Ewu ati ailewu

Ajalu ati awọn ipalara AI lojoojumọ da lori tani o loye awọn ewu ati tani o le ṣe.

Awọn ipinnu diẹ sii

Imọwe ti gbogbo eniyan ati ọjọgbọn ṣe apẹrẹ boya eto imulo aabo to lagbara jẹ iṣe iṣelu ṣee ṣe.

Gige nipasẹ hype

Awọn alaye ti ko o dinku gbigba nipasẹ aruwo, PR lab, ati ile iṣere iṣere aiduro.

Ojo iwaju ti AI titete

Reti iṣẹ diẹ sii lori wiwọn iṣotitọ pq-ti-ero, ṣiṣawari ete tabi apo yanrin, ẹgbẹ-pupa adaṣe adaṣe, ati awọn ọna iṣakoso ti o gba titete aipe. Imọwe ti gbogbo eniyan ṣe pataki nibi: awọn eniyan ti o gbọ nikan 'titọpinpin = ṣe awọn ibaraẹnisọrọ chatbots' yoo ni awọn ipo ikuna ajalu ti o kere ju ati igbẹkẹle awọn ẹtọ tita lati awọn ile-iṣẹ.

Real-World imuse

Awọn oluranlọwọ ikẹkọ pẹlu data ayanfẹ eniyan (RLHF) nitorinaa wọn kọ ipalara ti o han gbangba ati tẹle awọn itọnisọna dara julọ.

Awọn aṣoju ẹgbẹ-pupa fun gige sakasaka ere: tẹle lẹta ti ibi-afẹde kan lakoko ti o lodi si idi rẹ.

Iṣiro boya awoṣe kan yipada ihuwasi nigba ti o le sọ pe o ti ni idanwo (imọ idiyele).

Ṣiṣe awọn irinṣẹ abojuto ki awọn eniyan alailagbara tun le ṣakoso awọn awoṣe ti o lagbara lori awọn iṣẹ ṣiṣe lile.

Awọn ewu & Awọn ọna iṣọ

Itoju eewu ayeraye bi sci-fi lakoko awọn agbo ogun agbara.

Aabo ọja dada iruju pẹlu titete labẹ adase to gaju.

Nlọ kuro ni ti kii ṣe Gẹẹsi ati awọn olugbo ti kii ṣe alamọja pẹlu awọn orisun didara kekere nikan.

Ilana Ilana imuse

1

Awọn ipalara ọja lọtọ, ilokulo, ati isonu-iṣakoso / awọn eewu aiṣedeede.

2

Beere ẹri wo ni yoo yi wiwo rẹ pada lori awọn akoko akoko ati idiwo.

3

Ṣe ayanfẹ awọn orisun akọkọ ati awọn igbelewọn nija lori awọn ẹtọ tita.

4

Ṣe idanimọ ọna iṣe kan: iṣẹ, eto imulo, igbeowosile, tabi awọn ọgbọn — kii ṣe akiyesi nikan.

Tesiwaju Ṣiṣawari

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the AI Alignment quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Bẹrẹ adanwo

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Itọsọna atẹle

Glow-TTS monotonic titete

Awọn ibeere ti a beere nigbagbogbo

What is AI Alignment?

Titete AI jẹ iṣẹ-ṣiṣe imọ-ẹrọ ati igbekalẹ ti ṣiṣe awọn eto AI ti ilọsiwaju ni igbẹkẹle ṣe ohun ti eniyan pinnu - pẹlu aramada, awọn ipo giga-giga nibiti eto naa jẹ ijafafa, yiyara, tabi adase diẹ sii ju awọn oniṣẹ rẹ lọ.

Bawo ni o yẹ ki o ṣe itọju aṣiri ati aabo nigbati o ba nfi AI Alignment ṣiṣẹ?

Aṣiri ati aabo nilo lati kọ sinu eyikeyi imuṣiṣẹ ti AI Alignment lati ibẹrẹ.

Kini ọna ti o ni iduro lati mu aidaniloju ni awọn abajade lati Alignment AI?

Gbigbe awọn abajade ti ko ni idaniloju lati AI Alignment si atunyẹwo eniyan ṣe idiwọ awọn aṣiṣe ti o yago fun.

Ṣaaju ki o to gbẹkẹle AI Alignment fun ipinnu pataki, kini o yẹ ki o jẹrisi akọkọ?

Iyara ati pólándì ko ṣe iṣeduro išedede. Grounding AI Alignment in verifiable eri ni ohun ti o jẹ ki o ailewu lati gbekele lori.

Kini ami kan pe ẹgbẹ kan loye I titopọ AI ni idagbasoke kuku ju aipe?

Mọ awọn aala ti AI Alignment - ibi ti o ti wa ni a ko dara fit - ni a hallmark ti gidi oye.

Ipa wo ni o yẹ ki idajọ eniyan mu nigba lilo AI Alignment?

Titọju awọn eniyan ni lupu fun awọn ọran pataki tabi igbẹkẹle kekere jẹ aabo mojuto pẹlu Alignment AI.