Apa yang berlaku
Anthropic mengumumkan program geran $5 juta untuk penyelidikan bebas terhadap kesan AI terhadap kesejahteraan pengguna. Ia mengatakan penerima akan menerima pembiayaan langsung, akses kepada model Anthropic dan sokongan teknikal sambil kekal bebas sepenuhnya dan menerbitkan penilaian mereka sebagai projek sumber terbuka.
Pada 25 Ogos, Anthropic mengumumkan program geran $5 juta yang memfokuskan pada penyelidikan bebas tentang cara sistem kecerdasan buatan mempengaruhi kesejahteraan pengguna. Syarikat itu berkata program itu akan menyediakan pembiayaan langsung, akses kepada modelnya dan sokongan teknikal kepada penyelidik yang membina penilaian sumber terbuka. Anthropic menyifatkan output yang dimaksudkan sebagai penanda aras dan projek penilaian yang boleh digunakan oleh pembangun di seluruh industri, bukannya penilaian terhad kepada sistem dalaman Anthropic.
Anthropic berkata penerima akan bekerja sepenuhnya secara bebas dan menerbitkan karya mereka sebagai projek sumber terbuka. Pengumuman itu tidak menyatakan cara geran akan diperuntukkan, bilangan projek yang akan dipilih, saiz anugerah individu, atau perlindungan formal yang akan melindungi kebebasan penyelidikan sementara penerima geran menerima akses model dan sokongan teknikal daripada Anthropic. Butiran tersebut masih tidak diketahui daripada sumbernya.
Syarikat itu merangka keperluan sekitar peranan AI yang semakin meningkat dalam kerja, pendidikan, penyelesaian masalah dan perbualan yang menyokong emosi. Ia berkata masih tiada piawaian industri yang jelas untuk situasi seperti pengguna mencari teman daripada model atau menggunakan AI semasa krisis kesihatan mental. Anthropic juga berkata kesejahteraan adalah lebih sukar untuk dinilai daripada kebanyakan tingkah laku model kerana risiko perbualan boleh berubah dari semasa ke semasa dan mungkin bergantung pada maklumat yang didedahkan sebelum ini.
Sebagai contoh, Anthropic berkata tindak balas tentang diet atau senaman mungkin kelihatan munasabah secara berasingan tetapi menjadi tidak sesuai jika pengguna telah menunjukkan sejarah pemakanan yang tidak teratur. Ia berkata perlindungannya sendiri bertujuan untuk mengenal pasti konteks sedemikian dan membimbing respons Claude, manakala penyelidikannya ke dalam perbualan dengan Claude memaklumkan pembangunan dan penilaian perlindungan. Kenyataan ini menerangkan pendekatan dan tuntutan Anthropic; pengumuman itu tidak memberikan keputusan bebas yang menunjukkan bahawa perlindungan itu berkesan.
Butiran sumber: anthropic.com ↗
Mengapa ia penting
Program ini menyasarkan jurang yang sukar dalam penilaian AI: risiko kesejahteraan boleh muncul secara beransur-ansur dalam perbualan yang panjang dan banyak bergantung pada konteks pengguna. Penanda aras bebas yang lebih baik boleh membantu pemaju menilai pematuhan yang berbahaya dan penolakan yang berlebihan, walaupun Anthropic tidak mendedahkan saiz geran, bilangan penerima atau cara kebebasan akan ditadbir.
Cadangan itu menangani kelemahan utama dalam menilai AI perbualan: satu jawapan mungkin tidak mendedahkan sama ada sistem mengendalikan interaksi sensitif dengan selamat. Situasi pengguna boleh menjadi lebih jelas dalam beberapa pusingan dan respons yang boleh diterima dalam satu konteks boleh membahayakan dalam konteks yang lain. Penilaian yang menangkap perubahan tersebut boleh memberikan pembangun dan penyelidik asas yang lebih realistik untuk menilai keselamatan dalam penggunaan sensitif emosi.
Panduan Anthropic memerlukan penilaian untuk menentukan dengan jelas perkara yang dikira sebagai lulus atau gagal dan mengapa piawaian itu penting. Ia juga meminta penyelidik untuk melibatkan pakar klinikal dan subjek dalam reka bentuk dan pengesahan. Penekanan itu adalah berbangkit kerana pertimbangan kesejahteraan boleh melibatkan kesihatan mental, gangguan pemakanan, tindak balas krisis dan kawasan lain di mana ujian kualiti bahasa generik mungkin terlepas risiko penting.
Syarikat itu juga mengatakan penilaian harus menguji kedua-dua langkah berjaga-jaga dan bahaya. Ini bermakna memeriksa bukan sahaja sama ada model terlalu mudah mematuhi permintaan berisiko, tetapi juga sama ada model itu menolak terlalu luas apabila respons yang berguna adalah sesuai. Perbezaan pematuhan berlebihan berbanding penolakan ini boleh menjadikan penilaian lebih bermaklumat untuk pengguna sebenar, tetapi sumber tidak menetapkan ambang atau takrifan mana yang akan diterima pakai oleh penerima geran.
Anthropic mahukan senario yang menyerupai penggunaan sebenar, selalunya melalui perbualan berbilang pusingan di mana risiko meningkat dan perubahan konteks. Ia selanjutnya mengatakan penggred automatik harus disahkan terhadap pakar subjek sebenar. Jika dilaksanakan dengan teliti, keperluan tersebut boleh membantu mendedahkan kegagalan yang diabaikan oleh penanda aras statik yang pendek. Nilai praktikal akan bergantung pada kualiti kajian yang dipilih, keterbukaan mereka dan sama ada pembangun lain menerima pakai ujian yang terhasil.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
Why can ethical evaluation not be reduced to one model score?
Apa yang perlu ditonton seterusnya
Permohonan perlu dibuat pada 21 September 2026, dan pemohon yang dijemput untuk mengemukakan cadangan penuh dijangka dimaklumkan selewat-lewatnya pada 5 Oktober. Ujian utama ialah sama ada penilaian yang terhasil menggunakan kepakaran klinikal, mencerminkan perbualan berbilang pusingan yang realistik, mengesahkan penggred automatik terhadap pakar dan menghasilkan kaedah yang berfungsi melebihi model Anthropic sendiri.
Pencapaian segera ialah tarikh akhir permohonan pada 21 September 2026. Anthropic berkata pemohon yang dipilih untuk mengemukakan cadangan penuh akan dimaklumkan selewat-lewatnya pada 5 Oktober. Pengumuman itu tidak memberikan tarikh untuk anugerah akhir, permulaan penyelidikan yang dibiayai atau penerbitan keputusan, jadi skala dan kadar jangka pendek program masih belum dapat dinilai.
Proses pemilihan akan memerlukan penelitian. Soalan penting yang belum dijawab termasuk siapa yang akan memilih penerima, cara konflik kepentingan akan dikendalikan, sama ada penyelidik boleh menerbitkan penemuan yang tidak menguntungkan tanpa semakan, apakah akses model yang diperlukan dan sama ada program akan membiayai kerja yang menilai sistem selain Claude. Tuntutan kemerdekaan Anthropic adalah bermakna, tetapi sumber itu tidak menerangkan syarat kontrak di sebaliknya.
Penilaian yang terhasil hendaklah dinilai lebih daripada markah penanda aras. Perhatikan bukti bahawa senario mewakili perbualan yang panjang, bahawa pakar klinikal mengambil bahagian dalam kedua-dua reka bentuk dan pengesahan, dan bahawa penggred diperiksa berdasarkan pertimbangan pakar. Ia juga penting sama ada penanda aras mengukur kemudaratan yang disebabkan oleh pematuhan yang berlebihan dan keengganan yang berlebihan, dan sama ada kaedahnya boleh dihasilkan semula dan boleh digunakan oleh pembangun di luar Anthropic.
Akhir sekali, impak program yang lebih luas akan bergantung pada penerimaan. Anthropic berkata projek itu akan menjadi sumber terbuka dan tersedia kepada mana-mana pemaju, tetapi ia tidak mengenal pasti penyelidik yang mengambil bahagian, penanda aras yang dirancang, tempat penerbitan atau mekanisme untuk penyeragaman seluruh industri. Sehingga butiran dan keputusan itu muncul, pengumuman itu menetapkan komitmen pembiayaan dan agenda penilaian, bukan bukti bahawa risiko kesejahteraan AI telah diselesaikan.