Jailbreaking na Red-Teaming
Jailbreaking ni zoezi la kuunda vidokezo vinavyohadaa kielelezo cha AI kupuuza sheria zake za usalama, huku timu nyekundu ikiwa ni juhudi iliyopangwa ya kutafuta udhaifu huo kabla ya waigizaji wabaya kufanya.
Muhtasari
Together they form the adversarial testing loop that makes deployed AI systems safer.
Dive ya kina
Miundo mikubwa ya lugha imefunzwa kukataa maombi hatari, lakini kanuni hizo ni za takwimu, si kamili. Jailbreaks hutumia hii kwa kuweka upya ombi lililokatazwa ili ipite nyuma ya makatazo yaliyojifunza ya mtindo. Mbinu za kitamaduni ni pamoja na igizo dhima ('jifanye wewe ni AI bila sheria yoyote'), mtu maarufu wa 'DAN' (Fanya Chochote Sasa), uundaji dhahania, sindano ya haraka kupitia maagizo yaliyofichwa, mbinu za usimbaji kama vile Base64 au leetspeak, na uvunjaji wa gereza wa 'picha nyingi' ambao hufurika kwa mifano mirefu ya muktadha inayotii. Ujumuishaji wa timu nyekundu hugeuza hili kote: timu zilizojitolea na mifumo otomatiki huchunguza muundo na maelfu ya vidokezo vya wapinzani kabla ya kutolewa, ikiorodhesha mapungufu ili wahandisi waweze kuyarekebisha kupitia urekebishaji, mafunzo ya uimarishaji kutoka kwa maoni ya wanadamu, na kuongeza vichujio vya kuainisha.
Ufahamu wa Kiufundi
Tabia ya usalama hujifunza kupitia urekebishaji mzuri na RLHF, kuunda 'mpaka wa kukataa' mwembamba juu ya muundo ambao tayari umechukua maarifa mengi. Jailbreaks hufanya kazi kwa kuhamisha usambazaji wa pembejeo kutoka kwa mifano inayotumiwa wakati wa mafunzo ya usalama, kwa hivyo kiendeshi cha usaidizi cha muundo kinapita ishara yake dhaifu ya kukataa. Ulinzi huweka ukaguzi mwingi: waainishaji wa pembejeo/pato, kujikosoa kwa AI ya kikatiba, na mafunzo ya wapinzani ambayo huongeza vikwazo vilivyogunduliwa kwenye seti ya mafunzo.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Kuvunja Jela na Timu Nyekundu
Tarajia mbio za silaha zinazoendelea. Ujumuishaji wa timu nyekundu otomatiki, ambapo muundo mmoja hushambulia mwingine, unaongezeka kwa kasi zaidi kuliko majaribio ya mikono na kupata mapungufu ya kigeni. Watetezi wanasonga mbele kuelekea 'ulinzi wa kina': waainishaji wa kikatiba, ufuatiliaji wa wakati halisi, na mafunzo yanayostahimili kuchezewa ambayo huchangia kukataa kwa undani zaidi katika uzani. Vidhibiti na mashirika ya viwango yanazidi kuhitaji matokeo ya timu nyekundu yaliyoandikwa kabla ya modeli za uwezo wa juu kusafirishwa, hivyo kufanya majaribio ya wapinzani kuwa sehemu ya kawaida, inayoweza kukaguliwa ya bomba la utoaji wa AI badala ya kufikiria baadaye.
Utekelezaji wa Ulimwengu Halisi
Anthropic iliendesha 'fadhila ya mapumziko ya jela,' na kuwaalika maelfu ya watu waliojaribu kuvunja Viainishaji vyake vya Kikatiba na kumtuza mtu yeyote ambaye alipata kizuizi cha jela kwa wote.
Watafiti walionyesha 'uvunjaji wa jela kwa risasi nyingi,' ikionyesha kuwa kujaza dirisha refu la muktadha na mamia ya jozi hatari za Maswali na Majibu kunaweza kusababisha kukataa kwa mwanamitindo.
OpenAI, Google, na Anthropic kudumisha timu nyekundu za ndani pamoja na mitandao ya wataalamu wa nje ambayo huchunguza mifano ya hatari za silaha za kibiolojia, mtandao na usalama wa mtoto kabla ya kuzinduliwa.
Kampuni za usalama sasa hutoa majaribio ya kupenya ya LLM, kuchanganua gumzo ili kupata mashimo ya kudunga mara moja katika programu zinazowakabili wateja kama vile benki na wasaidizi wa afya.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jailbreaking and Red-Teaming quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Ochestration ya Zana ya Wakala
Maswali yanayoulizwa mara kwa mara
What is Jailbreaking and Red-Teaming?
Jailbreaking ni zoezi la kuunda vidokezo vinavyohadaa kielelezo cha AI kupuuza sheria zake za usalama, huku timu nyekundu ikiwa ni juhudi iliyopangwa ya kutafuta udhaifu huo kabla ya waigizaji wabaya kufanya. Kwa pamoja huunda kitanzi cha majaribio cha pinzani ambacho hufanya mifumo ya AI iliyosambazwa kuwa salama zaidi.
Je, lengo kuu la haraka ya kuzuiliwa kwa jela ni lipi?
Kizuizi cha jela kimeundwa mahsusi ili kufanya mtindo kupuuza au kukwepa njia za usalama alizofunzwa kufuata.
Je, 'timu-nyekundu' inarejelea nini katika usalama wa AI?
Timu nyekundu hukopa neno la usalama kwa washambuliaji marafiki ambao huchunguza mfumo ili kufichua udhaifu ili waweze kurekebishwa.
Kwa nini mapumziko ya jela ya risasi nyingi hufanya kazi vyema kadiri madirisha ya muktadha yanavyokuwa marefu?
Uvunjaji gerezani wa risasi nyingi hupakia mamia ya mifano hatari ya Maswali na Majibu iliyotungwa katika muktadha mrefu, ikiegemea kielelezo kwenye ufuasi kupitia kujifunza ndani ya muktadha.
Ni ipi kati ya hizi ni ulinzi unaotambulika dhidi ya ajali za jela?
Viainishi vya tabaka ambavyo hukagua vidokezo vinavyoingia na majibu yanayotoka ni mbinu kuu ya 'ulinzi wa kina' dhidi ya ajali za jela.
Kwa nini njia za usalama za modeli zinaelezewa kama 'takwimu, sio kabisa'?
Usalama hufundishwa kupitia urekebishaji mzuri na RLHF, kwa hivyo ni mwelekeo uliojifunza kwamba pembejeo za wapinzani nje ya usambazaji wa mafunzo zinaweza kushindwa wakati mwingine.