Apa yang berlaku
Lima penyelidik menyiarkan pracetak yang mencadangkan cara untuk menilai "abah-abah pembelajaran berterusan" agen tanpa tanda aras berlabel: model guru yang lebih kukuh membekalkan pembetulan yang jarang kepada pelajar yang lebih kecil, dan abah-abah dijaringkan oleh berapa banyak pelajar menumpu ke arah guru dari semasa ke semasa. Makalah itu melaporkan bahawa tingkatan saudara guru ini menjejaki peningkatan berbanding piawaian emas yang dipegang merentas tugas keselamatan, keluarga model dan reka bentuk abah-abah.
Pracetakan bertajuk "Menilai Keupayaan Memanfaatkan Pembelajaran Agentik Tanpa Label melalui Hipotesis Penskalaan" telah disiarkan ke arXiv pada 11 Ogos 2026, disenaraikan sebagai arXiv:2608.13608 di bawah Kepintaran Buatan, dengan penyenaraian silang ke Kriptografi dan Keselamatan dan Pembelajaran Mesin. Pengarang yang disenaraikan ialah Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar dan Anna Bertiger. Halaman arXiv menerangkan kertas itu sebagai 18 muka surat dengan 6 angka dan menyatakan bahawa ia telah diterima di CAMLIS, Persidangan Pembelajaran Mesin Gunaan untuk Keselamatan Maklumat; penyenaraian memberikan tahun penerimaan sebagai 2025 walaupun pracetak telah diserahkan pada Ogos 2026, dan halaman itu tidak menjelaskan jurang itu. Penyenaraian tidak menyatakan gabungan pengarang atau pautan ke kod atau data.
Subjek kertas kerja itu adalah apa yang penulis panggil agen "abah-abah pembelajaran berterusan": sistem yang memasangkan model bahasa yang besar dengan perolehan semula atau ingatan supaya ia bertambah baik daripada maklum balas tanpa dilatih semula. Penulis mengatakan sistem sedemikian telah menunjukkan nilai yang semakin meningkat dalam keselamatan siber. Hujah mereka ialah cara konvensional untuk mengukur nilai itu — keuntungan berbanding penanda aras yang dilabelkan — selalunya rosak dalam tetapan keselamatan operasi, kerana label penanda aras, dalam perkataan mereka, jarang, basi dan tidak mewakili. Akibat praktikal yang mereka huraikan ialah seorang pengamal sering tidak dapat mengetahui sama ada abah-abah membantu sama sekali, atau yang mana antara dua abah-abah yang bersaing lebih baik untuk tugas tertentu.
Pengarang juga menolak dua pengganti biasa. Penilaian LLM-sebagai-hakim konvensional, mereka menulis, menawarkan sedikit isyarat kerana model penghakiman tidak lebih kuat daripada ejen yang digredkannya. Penyulingan, sandaran yang lain, digambarkan sebagai tidak boleh dipercayai apabila label yang tersedia adalah terhad, sporadis dan berat sebelah. Sebagai ganti kedua-duanya, kertas kerja mencadangkan rangka kerja hujung-ke-hujung berdasarkan hipotesis penskalaan: model guru yang lebih kukuh menyediakan pembetulan sampel yang jarang kepada pelajar yang lebih kecil yang dilengkapi dengan abah-abah pembelajaran berterusan, dan abah-abah dijaringkan oleh berapa banyak pelajar menumpu ke arah guru dari semasa ke semasa - kuantiti yang dipanggil oleh kertas sebagai tingkatan saudara guru.
Penemuan yang dilaporkan adalah korelasi. Merentasi perkara yang diterangkan oleh abstrak sebagai tugas keselamatan, keluarga model dan reka bentuk abah-abah, penambahbaikan berbanding dengan peningkatan yang dijejaki oleh guru berbanding dengan standard emas yang diketepikan, yang penulis bentangkan sebagai pengesahan tingkatan saudara guru sebagai proksi untuk peningkatan abah-abah sebenar apabila label tiada. Mereka secara berasingan melaporkan hasil negatif: Perbandingan LLM-sebagai-hakim antara model berkuasa serupa tidak menghasilkan isyarat yang boleh digunakan. Abstrak ditutup dengan mencadangkan bahawa model bersaiz guru boleh dipertingkatkan melalui abah-abah yang sama jika manusia membekalkan jenis pembetulan jarang dan ketepatan tinggi yang sama. Titik terakhir itu dirangka sebagai cadangan dan bukannya hasil yang ditunjukkan, dan abstrak melaporkan tiada pekali korelasi, kiraan tugas, nama model, saiz set data atau nombor garis dasar.
Mengapa ia penting
Operasi keselamatan jarang mempunyai label semasa yang bersih yang diandaikan oleh penilaian berasaskan penanda aras, jadi pembeli dan pembina selalunya tidak dapat mengetahui sama ada lapisan memori ejen membantu sama sekali. Proksi tanpa label akan membenarkan pasukan membandingkan reka bentuk abah-abah dalam persekitaran mereka sendiri — walaupun proksi mewarisi titik buta guru dan, melalui pembinaan, mengukur pergerakan ke arah satu model dan bukannya ke arah kebenaran asas.
Jurang sasaran kertas adalah nyata dan dirasai secara meluas. Pasukan keselamatan yang meningkatkan ingatan atau mendapatkan semula ke model bahasa — untuk triage, pengayaan amaran, semakan pancingan data atau penalaan pengesanan — biasanya beroperasi dalam persekitaran di mana label tiba lewat, jarang dan condong ke arah mana-mana penganalisis yang meningkat. Penanda aras yang dibina di atas korpora awam menjadi basi apabila tingkah laku penyerang berubah. Dalam tetapan itu, organisasi boleh menjalankan abah-abah selama berbulan-bulan tanpa jawapan yang boleh dipertahankan kepada soalan asas sama ada ia sedang mempelajari apa-apa. Kaedah yang menghasilkan isyarat perbandingan tanpa label akan membenarkan pasukan menguji reka bentuk memanfaatkan terhadap trafik mereka sendiri dan bukannya terhadap set awam tetap.
Keputusan negatif mungkin sama pentingnya dengan keputusan positif. LLM-sebagai-a-hakim telah menjadi pintasan penilaian lalai di seluruh industri, termasuk untuk sistem ejen, dan dakwaan kertas itu bahawa ia tidak menghasilkan isyarat yang boleh digunakan antara model berkuasa serupa meletakkan sempadan khusus di mana teknik itu boleh dipercayai. Jika itu berlaku, ini menunjukkan bahawa banyak saluran paip penilaian dalaman yang dibina di sekeliling hakim kekuatan rakan sebaya sedang mengukur hingar, dan bahawa konfigurasi berguna memerlukan jurang keupayaan yang tulen antara hakim dan subjek. Pembaca harus ambil perhatian bahawa ini adalah satu penemuan kertas dalam tugas keselamatan, bukan fakta yang ditubuhkan secara bebas tentang penghakiman secara umum.
Batasan utama cadangan dibina dalam reka bentuknya: penumpuan ke arah guru bukan penumpuan ke arah ketepatan. Di mana sahaja guru salah secara sistematik, pelajar yang belajar untuk memadankannya akan mendapat markah yang baik sambil menjadi lebih teruk dalam amalan, dan metrik tidak menawarkan cara untuk melihatnya dari dalam. Pengukuran juga mempunyai siling semula jadi pada prestasi peringkat guru, jadi ia tidak boleh mendaftarkan abah-abah yang menolak pelajar melepasi gurunya. Bukti kertas itu sendiri untuk proksi adalah berkorelasi dengan piawaian emas yang ditahan, yang bermaksud pengesahan masih bergantung pada label yang tersedia di suatu tempat — cuma bukan dalam gelung penggunaan.
Bagi pembeli, akibat praktikal memotong kedua-dua arah. Kaedah perbandingan yang murah dan bebas label memudahkan untuk menguji dakwaan vendor tentang ejen yang meningkatkan diri dalam persekitaran pelanggan sendiri, yang pada masa ini sangat sukar dilakukan. Ia juga mencipta metrik yang vendor boleh sebutkan secara terpilih, kerana tingkatan relatif guru sangat bergantung pada guru yang dipilih dan cara pembetulan dijadikan sampel. Prosedur pemilihan guru mahupun kadar persampelan pembetulan tidak diterangkan dalam abstrak, dan kedua-duanya perlu didedahkan untuk sebarang angka peningkatan yang dilaporkan dapat dibandingkan dengan sistem.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
crm_get_transaction(id='4092').What most distinguishes an AI agent from a basic chatbot?
Apa yang perlu ditonton seterusnya
Sama ada kertas penuh dan mana-mana kod yang dikeluarkan membuktikan korelasi dengan nombor konkrit, sama ada hasilnya mereplikasi di luar keselamatan siber, dan sama ada cadangan akhir pengarang — bahawa pembetulan manusia boleh menambah baik model bersaiz guru melalui abah-abah yang sama — pernah ditunjukkan dan bukannya disimpulkan.
Perkara pertama yang perlu diperiksa ialah kertas penuh. Abstrak tidak membawa hasil kuantitatif sama sekali — tiada kekuatan korelasi, tiada senarai tugas keselamatan yang digunakan, tiada keluarga model dinamakan, tiada kiraan reka bentuk abah-abah dibandingkan. Sama ada tingkatan saudara guru merupakan proksi yang ketat atau longgar menentukan sama ada ia boleh menyokong keputusan pemerolehan atau hanya semakan arah yang kasar. 6 angka dan 18 halaman juga harus mendedahkan bilangan pembetulan guru yang dijadikan sampel setiap larian, kerana kaedah yang memerlukan belanjawan pembetulan yang besar adalah jauh kurang menarik daripada kaedah yang berfungsi pada segelintir.
Replikasi bebas adalah penanda seterusnya, terutamanya di luar keselamatan siber. Tiada apa-apa dalam kaedah yang diterangkan adalah khusus keselamatan, jadi jika korelasi antara tingkatan saudara guru dan peningkatan standard emas kekal dalam pengekodan, sokongan pelanggan atau aliran kerja dokumen, teknik tersebut menjadi alat penilaian umum. Jika ia hanya berlaku apabila guru mempunyai kelebihan yang besar dan konsisten berbanding pelajar, kegunaannya mengecil kepada kumpulan pasangan model tertentu. Perhatikan juga percubaan untuk mencari kes kegagalan: tugas di mana guru dengan yakin salah dan skor penumpuan pelajar mengelirukan.
Cadangan penutup pengarang - bahawa model sempadan bersaiz guru boleh dipertingkatkan melalui abah-abah yang sama jika manusia membekalkan pembetulan yang jarang dan berketepatan tinggi - adalah tuntutan yang paling berbangkit dalam abstrak dan paling kurang disokong olehnya. Seperti yang ditulis, ini adalah inferens daripada keputusan guru-murid, bukan sesuatu yang diuji oleh kertas. Sama ada sebarang kerja susulan menunjukkan bahawa pembetulan manusia berkelakuan seperti pembetulan guru di sempadan, dan pada kos anotasi, patut dijejak secara berasingan daripada hasil penilaian bebas label itu sendiri.
Akhir sekali, perhatikan artifak keluaran dan susulan tempat: sama ada kod atau abah-abah penilaian diterbitkan, sama ada bahan pembentangan CAMLIS menjelaskan percanggahan tarikh penerimaan pada penyenaraian arXiv, dan sama ada vendor alat penilaian menggunakan tingkatan relatif guru sebagai metrik yang dilaporkan. Penggunaan tanpa pendedahan model guru dan prosedur pensampelan pembetulan akan menjadikan perbandingan produk silang tidak bermakna, jadi kehadiran atau ketiadaan konvensyen pelaporan di sekitar kedua-dua parameter tersebut adalah isyarat yang perlu dicari.