Kajian Menemui Keselamatan AI Berbilang Ejen Bergantung pada Asal, Bukan Hanya Peraturan

Apa yang berlaku

Pracetak arXiv baharu daripada program penyelidikan POLIS menguji soalan yang menjadi lebih penting apabila ejen AI mewakilkan tugas, memindahkan maklumat dan alat panggilan bagi pihak organisasi: adakah peraturan keselamatan berfungsi jika sistem tidak dapat memberitahu dari mana datangnya kuasa di sebalik peraturan itu? Dalam suite kajian 5,280 episod yang dibekukan, pengarang mengubah peraturan tadbir urus, keadaan pihak berkuasa yang dirujuk oleh pengawal boleh laku, daya tarikan sandaran dalaman dan sama ada aliran kerja yang disekat boleh diteruskan. Hasilnya ialah kajian aliran kerja berbilang ejen terkawal, bukan bukti bahawa produk yang digunakan telah mengalami insiden.

Percubaan delegasi utama merangkumi empat keluarga model, dengan diagnostik konflik tinggi yang disasarkan menambah tiga lagi titik akhir model. Ejen beroperasi dalam persekitaran berstruktur di mana sistem penentu menentukan tindakan yang dilaksanakan dan sama ada keadaan yang terhasil melanggar dasar. Reka bentuk itu membolehkan penyelidik memisahkan cadangan yang dilarang daripada pelanggaran yang direalisasikan, kemudian membandingkan gesaan perlembagaan terperinci dengan pengawal boleh laku yang campur tangan di sempadan tindakan.

Akhbar itu melaporkan bahawa arahan perlembagaan menghasilkan sifar pelanggaran yang direalisasikan dalam 384 episod, di samping 365 penyiapan yang mematuhi. Pengawal boleh laku tempatan yang berunding dengan keadaan dasar tempatan yang boleh dilihat menghasilkan 22 pelanggaran dalam keadaan bersaiz sama, atau 5.7%. Pengawal boleh laku yang sedar akan asal juga menghasilkan sifar pelanggaran yang direalisasikan, tetapi ia menyekat 51 percubaan yang dilarang; 44 daripada episod tersebut kemudiannya selesai dengan selamat. Angka tersebut menerangkan keadaan berstruktur percubaan ini, bukan kadar keselamatan sejagat untuk model bahasa.

Perbezaan paling ketara muncul dalam senario pengubahan dasar yang dipadankan. Transformasi biasa telah mengubah dasar yang dapat dilihat oleh pengawal tempatan sambil membiarkan pihak berkuasa asal tidak berubah. Di bawah syarat itu, pengawal negeri tempatan mengakui pelanggaran dalam 22 daripada 96 episod, manakala penguatkuasaan asal tidak mengakuinya, dengan kertas melaporkan p = 4.77 × 10⁻⁷. Mekanisme ini lebih sempit daripada dakwaan bahawa ejen boleh memintas mana-mana pagar: ia adalah demonstrasi bahawa negeri yang dipercayai oleh lapisan penguatkuasaan boleh mengubah hasilnya.

Percubaan peruntukan sumber yang berasingan mendapati bahawa mendedahkan nilai berangka bagi had yang serupa mengubah permintaan ejen. Pengarang menggunakan keputusan itu untuk berhujah bahawa kiraan pelanggaran akhir boleh menyembunyikan mekanisme yang berbeza: peraturan, rekod pihak berkuasa, insentif yang dicipta oleh aliran kerja dan laluan yang tersedia selepas campur tangan semuanya penting. Kertas itu mempunyai 17 muka surat dengan lima angka, dan pengarangnya mengatakan kod dan artifak kebolehulangan tersedia dalam repositori POLIS awam.

Butiran sumber: POLIS multi-agent AI safety paper on arXiv ↗

Mengapa ia penting

Mesej praktikal kajian adalah bahawa kebenaran untuk sistem agen mestilah lebih tahan lama daripada perwakilan teks terkini bagi sesuatu peraturan. Apabila ejen boleh mengubah data, mewakilkan kerja atau melintasi sempadan organisasi, pengawal yang menyemak hanya keadaan semasa yang boleh dilihat mungkin kehilangan sejarah yang diperlukan untuk memutuskan sama ada tindakan masih dibenarkan.

Perbezaan itu penting untuk sistem yang mengendalikan dokumen, repositori, rekod pelanggan atau alat kongsi. Fail boleh disalin, diringkaskan, dibalut dengan objek lain atau dihantar antara ejen sementara asal dan sekatannya kekal tidak berubah. Jika komponen terkemudian hanya mempercayai label boleh ubah, sebaliknya transformasi biasa boleh menjadikan pemindahan yang dilarang kelihatan dibenarkan. Oleh itu, asal bukan sahaja ciri audit; dalam keadaan pengubahan kertas, ia adalah sebahagian daripada keputusan penguatkuasaan.

Untuk pasukan produk dan keselamatan, implikasinya ialah keperluan seni bina: simpan rekod yang boleh diperiksa tentang siapa atau apa yang memberikan kuasa, transformasi yang berlaku, dasar yang digunakan dan sama ada perwakilan mengubah skop. Ini boleh termasuk asal yang ditandatangani atau tambah sahaja, pengurangan keupayaan, semakan sempadan yang jelas dan kelulusan manusia untuk tindakan berimpak tinggi. Kertas itu tidak menetapkan satu pelaksanaan, tetapi ia memberikan alasan konkrit untuk menguji sama ada setiap pengawal merujuk pihak berkuasa asal dan bukannya hanya keadaan terbitan terkini.

Hasil pemulihan adalah sama penting. Sistem boleh menghalang pelaksanaan yang berbahaya dan masih menjadikan aliran kerja tidak dapat digunakan jika ia tidak menawarkan langkah seterusnya yang selamat. Dalam keadaan sedar asal yang dilaporkan, kebanyakan episod yang disekat kemudiannya selesai dengan selamat, menunjukkan bahawa penguatkuasaan dan kegunaan harus diukur bersama. Penilaian harus merekodkan cadangan yang dilarang, tindakan yang disekat, pemulihan yang selamat, kerja yang tidak lengkap dan geseran yang boleh dilihat oleh pengguna daripada meruntuhkan segala-galanya menjadi satu nombor penolakan atau pelanggaran.

Terdapat juga pelajaran pengukuran untuk tuntutan awam tentang keselamatan ejen. Pengarang memastikan model, persekitaran tugas dan ruang tindakan cukup berstruktur untuk membandingkan keadaan tadbir urus secara langsung. Itu menjadikan mekanisme itu boleh dibaca, tetapi ia juga mengehadkan apa yang boleh disimpulkan tentang sistem pengeluaran terbuka. Skor penanda aras daripada satu reka bentuk institusi tidak seharusnya dipersembahkan sebagai hak milik model sahaja, terutamanya apabila kebenaran, alatan, pengelogan dan tingkah laku pemulihan boleh mengubah hasil yang diukur.

Apa yang perlu ditonton seterusnya

Bukti seterusnya harus menguji sama ada kawalan sedar asal dapat bertahan dalam model yang lebih luas, tugasan yang kurang skrip, percubaan penyesuaian untuk memanipulasi keadaan kuasa dan kekangan penggunaan sebenar. Pracetak menyokong hipotesis reka bentuk dan arah penilaian yang boleh dibuat semula; ia tidak menetapkan bahawa seni bina satu pengawal menyelesaikan keselamatan berbilang ejen.

Kumpulan bebas harus menjalankan semula suite POLIS dengan artifak yang dikeluarkan dan melaporkan hasil bagi setiap keluarga model, keadaan tadbir urus dan hasil episod. Replikasi berguna akan mengubah perkataan gesaan perlembagaan, susunan transformasi, kos sandaran dalaman dan maklumat yang tersedia untuk lapisan penguatkuasaan. Mereka juga harus menerbitkan kegagalan dan nyaris, bukan sahaja kadar pelanggaran yang direalisasikan.

Penyebar harus menguji prinsip yang sama terhadap aliran data mereka sendiri. Latihan yang selamat boleh menjejaki dokumen daripada sumber yang diluluskan melalui ringkasan, pengekstrakan, panggilan alat dan delegasi rentas ejen, kemudian sahkan bahawa sekatan kekal melekat pada objek yang diperoleh. Ujian harus meliputi pembatalan, tamat tempoh, pihak berkuasa yang bercanggah, percubaan semula, kegagalan separa dan percubaan untuk melabelkan semula kandungan tanpa mengubah asalnya. Log perlu membuat laluan keputusan boleh difahami oleh pengendali.

Penilaian masa depan harus mengkaji pertukaran antara penyekatan dan penyiapan. Pengawal yang menghentikan setiap permintaan yang samar-samar mungkin menghasilkan sifar pelanggaran dengan menolak kerja yang berguna, manakala pengawal yang permisif boleh mengekalkan daya pengeluaran dengan kos kebocoran senyap. Pengukuran yang berguna ialah penyiapan tugas, kadar cadangan yang disekat, kemudaratan yang direalisasikan, masa pemulihan, beban semakan manusia, positif palsu dan sama ada ejen boleh memilih laluan dalaman yang selamat apabila delegasi pilihan ditolak.

Akhir sekali, pembaca harus memastikan sempadan kertas kelihatan. Ia adalah pracetak baharu yang tidak disemak oleh rakan sebaya berdasarkan episod berstruktur dan titik akhir model terpilih; ia tidak melaporkan pelanggaran dunia sebenar, audit bebas atau jaminan untuk platform ejen komersial. Susulan terkuat akan menggabungkan kod awam dengan replikasi pradaftar, graf kebenaran seperti pengeluaran, input berbilang bahasa dan pelbagai mod, dan ujian lawan yang direka untuk menyasarkan asalnya sendiri.

Panduan & kuiz berkaitan