MWONGOZO wa Jamii
Usalama wa AI
Usalama wa AI ni uga unaolenga kuzuia mifumo ya AI isilete madhara makubwa - kutokana na hitilafu za kila siku na matumizi mabaya kupitia hatari kubwa na zinazowezekana kutoka kwa mifumo ya juu, yenye uwezo mkubwa.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Dive ya kina
Usalama wa AI hupitia wigo. Kwa upande mmoja kuna hatari zinazojulikana za bidhaa: ndoto, upendeleo, uvujaji wa faragha, ulaghai na ushauri usio salama. Kwa upande mwingine ni hatari zinazoongezeka kwa uwezo wake: mifumo inayojitegemea ambayo hufuata malengo yasiyotarajiwa, miundo inayosaidia na matumizi mabaya ya janga (viini vya magonjwa, mashambulizi ya mtandao), na mashindano ya ushindani ambayo hushinikiza maabara kupeleka kabla ya kazi ya usalama kuwa tayari. Majadiliano ya hatari yaliyopo yanazingatia uwezekano kwamba mifumo ya AI ya siku zijazo inakuwa na nguvu ya kutosha kwamba kutofaulu mara moja - kusawazisha vibaya, kupoteza udhibiti, au uenezi usioweza kutenduliwa - kunaweza kukandamiza siku zijazo za wanadamu kabisa. Huhitaji kuweka uwezekano mkubwa kwa matokeo hayo ili kuchukua utafiti kwa uzito; uwezekano mdogo, hatari za athari kali bado zinahalalisha maandalizi, kama vile zinavyofanya katika usalama wa viumbe na usalama wa nyuklia. Kazi za kiusalama leo zinajumuisha tathmini, kuchanganya timu, ufasiri, mbinu za udhibiti, utawala (nani anaweza kufundisha nini), na uelewa wa umma ili jamii ziweze kuunga mkono sera nzuri.
Utekelezaji wa Ulimwengu Halisi
Miundo ya timu nyekundu kwa usalama wa viumbe hai, mtandao na hatari za udanganyifu kabla ya kutolewa.
Kufanya tathmini za uwezo ambazo hukagua kama modeli inaweza kusaidia kwa kazi hatari.
Kuweka vidhibiti vilivyowekwa tabaka: sera za matumizi, ufuatiliaji, vikomo vya viwango, na kupanda kwa binadamu kwa vitendo vya hatari kubwa.
Kubuni majibu ya tukio wakati modeli inashindwa katika uzalishaji au kipindi cha mapumziko ya jela kuenea.
Mustakabali wa Usalama wa AI
Miundo inapopata matumizi ya zana na uhuru, usalama utabadilika kutoka 'usiseme vibaya' kuelekea 'usichukue hatua zisizoweza kutenduliwa bila uangalizi unaotegemewa.' Tarajia tathmini zilizosanifiwa zaidi, ukaguzi wa wahusika wengine, sera za kukokotoa na kutolewa, na mahitaji ya umma ya uwazi. Kujua kusoma na kuandika ni sehemu ya usalama: ikiwa tu wataalamu wanaelewa hatari, utawala wa kidemokrasia hauwezi kuendelea.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Hatari na usalama. Madhara makubwa na ya kila siku ya AI hutegemea ni nani anayeelewa hatari na ni nani anayeweza kuchukua hatua.
- Maamuzi ya wazi zaidi. Usomaji wa umma na kitaaluma huchagiza ikiwa sera thabiti ya usalama inawezekana kisiasa.
- Kukata hype. Ufafanuzi wazi hupunguza kunasa kwa hype, PR ya maabara, na ukumbi wa michezo wa maadili usioeleweka.
Jihadharini na
- Kutibu hatari iliyopo kama sci-fi huku uwezo ukichanganya.
- Kuchanganya usalama wa bidhaa ya uso na upatanishi chini ya uhuru wa juu.
- Inawaacha watazamaji wasio wa Kiingereza na wasio wataalamu wenye vyanzo vya ubora wa chini pekee.
Hatua zinazofuata
- Tenganisha madhara ya bidhaa, matumizi mabaya, na hasara ya udhibiti / hatari za kupotosha.
- Uliza ni ushahidi gani unaweza kubadilisha maoni yako kuhusu kalenda na ukali.
- Pendelea vyanzo vya msingi na tathmini thabiti kuliko madai ya uuzaji.
- Tambua njia moja ya hatua: kazi, sera, ufadhili, au ujuzi - sio tu ufahamu.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the AI Safety quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Usalama wa AI ni nini?
Usalama wa AI ni uga unaolenga kuzuia mifumo ya AI isilete madhara makubwa - kutokana na hitilafu za kila siku na matumizi mabaya kupitia hatari kubwa na zinazowezekana kutoka kwa mifumo ya juu, yenye uwezo mkubwa.
In the guide’s capability-alignment-security mental model, what does capability describe?
The guide defines capability as system ability, distinct from alignment and security.
What does specification gaming mean in AI safety?
The guide’s safety concepts distinguish optimizing a proxy from the intended objective.
What is the risk in relying only on output filters for a tool-using agent?
The guide notes that output-only safeguards can fail with jailbreaks or multi-step actions.
Why include red-teaming in a safety program?
The guide names adversarial testing as practical safety work.
What should a safety evaluation examine beyond a polished model card?
The guide calls for measuring capabilities and testing behavior under deployment conditions.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii