LegközelebbKövetkező az MI a Work-ben
AI és adatvédelem
Társadalom
Társadalom ÚTMUTATÓ
A mesterséges intelligencia biztonsága az a terület, amelynek középpontjában az AI-rendszerek súlyos károk – a mindennapi meghibásodások és a visszaélések, a fejlett, nagy teljesítményű rendszerek által okozott katasztrofális és egzisztenciális kockázatok – okozásának megakadályozása áll.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Az AI biztonság egy spektrumot ölel fel. Az egyik végén ismerős termékkockázatok vannak: hallucinációk, elfogultság, adatvédelmi kiszivárogtatás, csalások és nem biztonságos tanácsok. A másik oldalon a képességekkel együtt növekvő kockázatok állnak: autonóm rendszerek, amelyek nem szándékolt célokat követnek, a katasztrofális visszaéléseket (kórokozók, kibertámadások) segítő modellek, és versenyversenyek, amelyek a laboratóriumokat kényszerítik a munkavégzés előtt. Az egzisztenciális kockázatokkal kapcsolatos megbeszélések annak lehetőségére összpontosítanak, hogy a jövőbeni mesterséges intelligencia rendszerek elég erősekké váljanak ahhoz, hogy egyetlen hiba – tévedés, irányítás elvesztése vagy visszafordíthatatlan elterjedése – végleg megnyirbálja az emberiség jövőjét. A kutatás komolyan vételéhez nem kell nagy valószínűséget rendelnie ehhez az eredményhez; a kis valószínűségű, extrém hatású kockázatok továbbra is indokolják a felkészülést, akárcsak a biológiai biztonság és a nukleáris biztonság területén. A gyakorlati biztonsági munka manapság magában foglalja az értékeléseket, a red-teaming-ot, az értelmezhetőséget, az ellenőrzési technikákat, az irányítást (ki mit képezhet) és a közmegértést, hogy a társadalmak támogassák a jó politikát.
Red-teaming modellek a biológiai biztonsági, kibernetikai és megtévesztési kockázatokhoz a kiadás előtt.
Képességértékelések futtatása, amelyek ellenőrzik, hogy egy modell segíthet-e veszélyes feladatokban.
Réteges vezérlők telepítése: használati szabályzatok, figyelés, sebességkorlátozások és emberi eszkaláció a magas kockázatú műveletekhez.
Incidensre adott válasz tervezése, ha a modell meghibásodik a termelésben, vagy egy jailbreak terjed.
Ahogy a modellek egyre jobban használják a szerszámokat és egyre önállóbbak lesznek, a biztonság a „ne mondj rosszat” helyett a „megbízható felügyelet nélkül ne hajts végre visszafordíthatatlan lépéseket” felé. Több szabványosított értékelésre, harmadik fél által végzett auditálásra, számítási és kiadási irányelvekre, valamint az átláthatóság nyilvános követelésére számíthat. Az írástudás a biztonság része: ha csak a szakemberek értik a kockázatokat, a demokratikus kormányzás nem tud lépést tartani.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A mesterséges intelligencia biztonsága az a terület, amelynek középpontjában az AI-rendszerek súlyos károk – a mindennapi meghibásodások és a visszaélések, a fejlett, nagy teljesítményű rendszerek által okozott katasztrofális és egzisztenciális kockázatok – okozásának megakadályozása áll.
The guide defines capability as system ability, distinct from alignment and security.
The guide’s safety concepts distinguish optimizing a proxy from the intended objective.
The guide notes that output-only safeguards can fail with jailbreaks or multi-step actions.
The guide names adversarial testing as practical safety work.
The guide calls for measuring capabilities and testing behavior under deployment conditions.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező az MI a Work-ben
AI és adatvédelem
Társadalom