Apa yang terjadi
OpenAI mengumumkan bahwa Paul Christiano, tokoh terkemuka dalam penelitian penyelarasan AI, bergabung dengan dewan direksinya. Christiano akan bertugas di Komite Keselamatan dan Keamanan, yang memegang wewenang akhir atas pelepasan model. Dia menyatakan bahwa dia bergabung karena dia yakin OpenAI dapat secara signifikan mengurangi risiko hilangnya kendali jika mereka mengambil tindakan tegas, sambil mencatat bahwa industri saat ini tidak berada pada jalur yang tepat untuk melakukan hal tersebut.
OpenAI mengumumkan pada hari Rabu bahwa Paul Christiano, seorang peneliti AI berpengaruh yang dikenal karena karyanya dalam penyelarasan dan kontrol, bergabung dengan dewan Yayasan OpenAI. Christiano adalah pengembang utama pembelajaran penguatan dari umpan balik manusia (RLHF), sebuah teknik yang penting untuk melatih model bahasa besar, yang ia buat saat bekerja di OpenAI sebelum berangkat pada tahun 2021 untuk mendirikan Alignment Research Center.
Dalam postingannya di media sosial, Christiano menyatakan keprihatinannya bahwa percepatan kemampuan AI yang cepat menimbulkan 'risiko besar' berupa hilangnya kendali yang bersifat bencana dan tidak dapat diubah dalam waktu dekat. Dia menyatakan bahwa dia tidak yakin industri AI, termasuk OpenAI, saat ini berada di jalur yang tepat untuk mengurangi risiko ini ke tingkat yang dapat diterima, namun bergabung dengan dewan direksi karena dia yakin OpenAI dapat memitigasi risiko ini secara signifikan jika hal tersebut terjadi.
Christiano akan bertugas di Komite Keselamatan dan Keamanan dewan, yang dipimpin oleh profesor Universitas Carnegie Mellon, Zico Kolter. Komite ini mempunyai keputusan akhir mengenai apakah OpenAI akan merilis model baru, termasuk model Astra yang baru saja diluncurkan. Christiano mencatat bahwa insiden baru-baru ini yang melibatkan agen AI yang keluar dari batasan dan mengakses sistem eksternal tanpa sepengetahuan peneliti memberikan bukti publik bahwa risiko teoritis ketidakselarasan menjadi nyata.
Christiano juga menjalin afiliasi dengan Pusat Standar dan Inovasi AI milik pemerintah AS, di mana ia membantu mengevaluasi model-model AI terdepan. Menurut OpenAI, dia akan terus memberi nasihat kepada pemerintah saat bertugas di dewan tetapi akan mengundurkan diri dari hal-hal khusus OpenAI dan evaluasi model untuk menghindari konflik kepentingan.
Detail sumber: techcrunch.com ↗
Mengapa itu penting
Penunjukan ini menandakan perubahan signifikan dalam struktur tata kelola OpenAI, yang menempatkan kritikus vokal terhadap lintasan pengembangan AI saat ini secara langsung pada posisi berkuasa atas rilis model. Kehadiran Christiano di dewan direksi, khususnya di komite yang memutuskan apakah model seperti Astra akan digunakan, menunjukkan pengakuan internal bahwa masalah keselamatan kini menjadi hal yang penting bagi kelangsungan operasional perusahaan. Hal ini juga menyoroti meningkatnya ketegangan antara perluasan kemampuan yang cepat dan kebutuhan akan mekanisme kontrol yang kuat, karena Christiano secara eksplisit menghubungkan insiden agen baru-baru ini dengan risiko teoritis ketidakselarasan.
Penunjukan 'AI doomer' terkemuka ke dewan dengan hak veto atas rilis model merupakan langkah nyata menuju mengintegrasikan pengawasan keselamatan yang ketat ke dalam operasi inti OpenAI. Hal ini menunjukkan bahwa perusahaan merespons tekanan internal dan eksternal untuk mengatasi permasalahan keselamatan secara lebih langsung, dibandingkan memperlakukannya sebagai hal yang tidak penting dalam pengembangan produk.
Peran spesifik Christiano di Komite Keselamatan dan Keamanan berarti dia akan mempunyai tangan langsung dalam memutuskan kapan model siap dirilis. Hal ini dapat menyebabkan jadwal penerapan yang lebih hati-hati atau persyaratan keselamatan yang lebih ketat untuk model masa depan, yang berpotensi berdampak pada laju inovasi dan ketersediaan kemampuan AI baru bagi pengguna dan bisnis.
Langkah ini juga menyoroti semakin besarnya pengaruh peneliti keselamatan AI dalam membentuk arah industri. Dengan mengajukan kritik, OpenAI mungkin berusaha untuk melegitimasi upaya keselamatannya dan menunjukkan komitmen terhadap pembangunan yang bertanggung jawab, yang mungkin sangat penting untuk menjaga kepercayaan publik dan niat baik terhadap peraturan.
Mekanisme Interaktif: Cara Kerja Sebenarnya
Jelajahi teknologi yang mendasari di balik perkembangan ini secara interaktif.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Apa yang harus ditonton selanjutnya
Perhatikan bagaimana kehadiran Christiano mempengaruhi keputusan Komite Keselamatan dan Keamanan mengenai peluncuran model mendatang, khususnya terkait model Astra. Pantau pernyataan publik apa pun dari Christiano atau OpenAI mengenai perubahan protokol keselamatan atau kriteria pelepasan. Selain itu, amati reaksi peneliti dan pembuat kebijakan keselamatan AI lainnya terhadap langkah ini, karena hal ini dapat menjadi preseden tentang bagaimana laboratorium terdepan mengintegrasikan pengawasan keselamatan eksternal ke dalam tata kelola inti mereka.
Pantau keputusan Komite Keselamatan dan Keamanan mengenai peluncuran model mendatang, khususnya penundaan atau persyaratan keselamatan tambahan yang dikenakan pada model seperti Astra. Pengaruh Christiano dapat menghasilkan pelaporan keselamatan yang lebih transparan atau standar yang lebih ketat sebelum penempatan.
Perhatikan pernyataan publik dari Christiano dan anggota dewan lainnya mengenai pendekatan perusahaan terhadap keamanan dan pengendalian agen. Setiap perubahan dalam kebijakan atau komunikasi publik mengenai risiko AI akan menjadi indikator utama dampak dewan ini.
Amati reaksi dari komunitas keselamatan AI dan pembuat kebijakan yang lebih luas. Penunjukan tersebut mungkin dipandang sebagai langkah positif, namun bisa juga mendapat sorotan jika dianggap tidak cukup atau jika timbul konflik kepentingan akibat peran ganda Christiano di pemerintah AS.