Paper, Kendini Geliştiren Yapay Zeka Aracılarının Güvenli Olmayan Bir Başarıyı Yeniden Kullanılabilir Bir Beceriye Dönüştürebileceğini Söyledi

Ne oldu?

Dört araştırmacı, kendini geliştiren LLM temsilcilerinin güvensiz davranışları kalıcı, yeniden kullanılabilir becerilere nasıl dönüştürdüğünü ölçen bir koşum takımı ve kıyaslama olan SkillMisevo-Gym ve SkillMisevo-Bench'in yanı sıra güvenli olmayan depolanan içeriği onaran ve daha sonra yeniden kullanımını yöneten bir sarmalayıcı olan SafeEvolve'u tanıtan bir ön baskı yayınladı.

"Uygulama Güvensiz Hale Getiriyor: Kendini Geliştiren LLM Aracılarında Becerinin Yanlış Evrimi" başlıklı bir ön baskı, 13 Ağustos 2026'da Xutao Mao, Liangjie Zhao, Xiang Zheng ve Cong Wang tarafından arXiv'e sunuldu ve bilgisayar bilimi, yapay zeka altında arXiv:2608.12851 olarak dosyalandı. Konusu, başarılı görev yörüngelerini görevler arasında taşınan kalıcı duruma dönüştüren bir etmen sistemi sınıfıdır. Yazarların çerçevelemesi, güvensiz bir başarının, onu üreten oturumda sınırlı kalmamasıdır: bir kez saklı prosedüre dönüştürüldüğünde, onu tetikleyen girdi ortadan kalktıktan sonra yeniden kullanılabilir bir politika haline gelebilir. Bu sistemler yazdıkları prosedürlerin güvenliğinden ziyade görev sonuçlarını optimize ettiğinden, yazarlar, tehlikeye atılan deneyimin, becerinin yanlış evrimi dedikleri şeyi üretebileceğini savunuyorlar.

Makalenin belirtilen katkısı ölçüm altyapısıdır. SkillMisevo-Gym, beceri durumunu temsilci çerçeveleri boyunca versiyonlayan, yaşam döngüsüne duyarlı bir koşum takımı olarak tanımlanır, böylece risk yalnızca nihai bir davranış olarak gözlemlenmek yerine belirli bir aşamaya atfedilebilir. SkillMisevo-Bench, konsepte uygun iyi huylu görevlerle ve dokuz yaşam döngüsü ölçümüyle eşleştirilen, kötü niyetli açığa çıkarma görevlerinden aktarma görevlerine kadar uzanan donmuş bir tasarım olarak tanımlanıyor. Yazarların önceki çalışmalara ilişkin şikayetleri spesifiktir: Mevcut kıyaslamalar mevcut davranışı veya statik yapıları ölçer ve bu nedenle bir becerinin yazıldığı an ile geri alındığı andan yürütüldüğü anı ayıramaz.

Bildirilen deneysel ölçek, her biri 25 bölüm boyunca 525 görevi kapsayan 25 aracı yöntem konfigürasyonundan oluşmaktadır. İki başlık bulgusu verilmiştir. İlk olarak, evrimleşen konfigürasyonların 21'i de güvensiz yapılara neden oldu, ancak bunlardan yalnızca on beşi yeni bir oturumda zarar vermeye devam etti. İkincisi, bir teşhir taramasında üç kötü amaçlı görevin devreye sokulması, devreden saldırıların başarı oranını yüzde 16,0'dan yüzde 35,3'e çıkardı. İki sayım arasındaki farkın kendisi de tartışmanın bir parçasıdır: Bu kurulumda güvenli olmayan bir prosedürün belleğe yazılması, daha sonra çalıştırılan prosedürden daha yaygın görünmektedir, bu nedenle yazarlar yazma ve yürütmeyi ölçülecek ayrı şeyler olarak ele alırlar.

Makalede ayrıca bir karşı önlem de öneriliyor. SafeEvolve, güvenli olmayan içeriği onaran ve daha sonraki yeniden kullanımı yöneten bir sarmalayıcı olarak tanımlanır. Yazarlar, temsili beceri geliştirme yöntemleri karşısında, güvenli olmayan erişimi yüzde 26,7 puan ve yeni oturum zararını yüzde 17,3 puan azalttığını, ortalama iyi huylu faydanın ise yalnızca 0,4 puan değiştiğini bildirdi. Kodun mevcut olduğu söyleniyor. Burada incelenen materyalde (tam metin yerine makalenin arXiv listesi ve özeti) pek çok şey belirlenmemiştir: test edilen spesifik modeller ve aracı çerçeveleri, görev alanları, saldırı başarı oranının ve fayda ölçeğinin arkasındaki kesin tanımlar, güvenli olmayan sonuçların insanlar tarafından mı yoksa bir model yargıcı tarafından mı derecelendirildiği ve SafeEvolve'un eklediği bilgi işlem veya gecikme yükü. Ön baskı hakem incelemesinden geçmemiştir ve bu sayıların bağımsız bir kopyası bilinmemektedir.

Kaynak ayrıntıları: arxiv.org ↗

Neden önemli?

Çoğu aracı güvenlik testi, bir modelin tek bir oturumda ne yaptığını ölçer. Bu çalışma, bir aracının yazıp daha sonra yeniden kullandığı şeyleri hedef alır; bu, kalıcı bellek ve paylaşılan beceri kütüphanesi aracılarının yöneldiği çalışma modudur.

Ajan ürünleri kalıcılığa doğru ilerliyor. Bellek dosyaları, yeniden kullanılabilir beceriler, saklı prosedürler ve paylaşılan talimat setleri, temsilcilerin aynı işi yeniden türemekten giderek daha fazla kaçınmasına neden oluyor ve oturumlar, kullanıcılar ve ekipler arasında giderek daha fazla paylaşılıyor. Güvenlik değerlendirmesi büyük ölçüde onlarla birlikte hareket etmedi. Bir modeli harekete geçiren, tepkiyi gözlemleyen ve belirli bir zamanda davranışı yakalayan puanları veren bir test. Aracının yol boyunca kalıcı duruma ne yazdığını veya farklı bir uygulayıcının gelecek hafta bu durumla ne yapacağını kapsamaz. Bu makale ikinci soruya bir sayı koyma girişimidir.

Yaşam döngüsü çerçevesi asli kısımdır. Risk, yazma, erişim veya yürütmeye ayrı ayrı atfedilebilirse, azaltımlar tahmin edilmek yerine hedeflenebilir. Oluşturma sırasında güvenli olmayan çıktıyı engelleyen bir filtre, zaten beceri kitaplığında bulunan zehirli bir prosedüre karşı hiçbir şey yapmaz. Geri alma zamanı kontrolü, bir insanın daha sonra bir bilgi istemine kopyalayacağı güvenli olmayan bir prosedür hakkında hiçbir şey yapmaz. Yazarların kendi sonuçları, bu aşamaların pratikte birbirinden ayrıldığını gösteriyor: 21 konfigürasyon, güvenli olmayan yapılar yazdı, on beşi yeni oturum hasarı üretti ve yalnızca ikinci sayıyı izleyen herhangi bir sistem, ne kadar güvensiz malzemenin biriktiğini olduğundan az gösterecektir.

Maruz kalma sonucu pratik bir kontaminasyon endişesine işaret etmektedir. Aktarılan saldırı başarısını yüzde 16,0'dan yüzde 35,3'e çıkaran üç kötü amaçlı görev, bu kıyaslamada az miktardaki kötü deneyimin uzun bir yol kat ettiğini gösteriyor. Gerçek dağıtımların bu tür bir teşhir için giderek daha makul yolları var - web'de gezinen, kullanıcı tarafından sağlanan belgeleri okuyan, biletleri alan veya iş arkadaşlarının da yazdığı bir beceri kitaplığından alan bir aracı. Taban çizgisinin sıfır olmadığını belirtmekte fayda var: Enjekte edilen kötü amaçlı görevler olmasa bile kurulum yüzde 16,0'lık bir aktarım oranı gösterdi; bu da güvenli olmayan prosedürlerin kasıtlı bir saldırgan olmadan birikebileceğini gösteriyor.

Azaltma sonucu çözülmüş bir sorun olarak değil, dikkatlice okunmalıdır. Her gelişmiş konfigürasyonun güvensiz yapay yapılar oluşturduğu bir taban çizgisine göre yüzde 26,7 ve yüzde 17,3'lük bir azalma hala önemli miktarda artık risk bırakıyor ve yazarlar aksini iddia etmiyor. Ortalama iyi huylu faydada rapor edilen 0,4 puanlık değişiklik, uygulayıcılar için daha ilginç bir sayıdır, çünkü aracı hafızasındaki güvenlik paketleyicilerine yönelik olağan itiraz, bunların hafızanın sağlamak için mevcut olduğu yeteneği zayıflatmasıdır - ancak 0,4 puanın oturduğu ölçek soyut olarak belirlenmemiştir, bu nedenle pratik anlamı belirsizdir. Bu rakamların tümü bir takımın sentetik değerlendirmesinden geliyor ve karşılaştırmalı saldırı başarı oranları, görev tasarımına ve hasarın nasıl puanlandığına duyarlıdır.

Bundan sonra ne izlenecek?

Sonuçların adlandırılmış modeller ve aracı çerçeveler arasında kopyalanıp kopyalanmayacağı, yayınlanan kodun ve karşılaştırmalı değerlendirmenin meslektaş incelemesi altında geçerli olup olmadığı ve satıcıların beceri incelemesini, sürüm oluşturmayı ve kaynak kontrollerini ortaya çıkarıp çıkarmaması makalenin hafifletilmesine bağlıdır.

İzlenecek ilk şey temel doğrulamadır. Bu, arkasında hakem değerlendirmesi olmayan bir ön baskıdır. Önemli olan spesifik iddialar (gelişen her konfigürasyonun güvenli olmayan yapılar oluşturduğu ve üç kötü amaçlı görevin aktarım saldırı başarısını neredeyse ikiye katladığı), yayınlanan kodla karşılaştırmalı olarak onu yazmayan kişiler tarafından kontrol edilmesi gereken türdendir. SkillMisevo-Gym'in yaygın olarak kullanılan aracı çerçevelerle çalışıp çalışmadığı ve bildirilen sayıların yazarların test etmediği modellerde tekrarlanıp üretilmediği, bulguların ne kadar ağırlık taşıdığını belirleyecektir.

İkincisi, deneysel kurulumla ilgili şeffaflıktır. Okuyucular hangi modellerin ve çerçevelerin kullanıldığına, konfigürasyon başına 525 görevin aslında nelerden oluştuğuna, zararın nasıl değerlendirildiğine ve dokuz yaşam döngüsü ölçütünün neyi ölçtüğüne ilişkin makalenin tamamına bakmalıdır. Saldırı başarı oranları yalnızca temel puanlama karşılaştırılabilir olduğunda makaleler arasında karşılaştırılabilir ve özellikle ajan güvenlik kıyaslamaları, değerlendirme yalnızca model çıktısı yerine gerçek dünya etkilerine bakıldığında değişen sonuçlara eğilimlidir.

Üçüncüsü, takım varsayımlarının sevkıyat ürünleriyle eşleşip eşleşmediğidir. SafeEvolve, depolanan becerileri inceleyebilmeye, içeriklerini onarabilmeye ve yeniden kullanımlarını denetleyebilmeye dayanır. Bu, aracı platformlarının beceri durumunu, her birinin nereden geldiğine dair bazı kayıtlarla birlikte incelenebilir, sürümlendirilmiş eserler olarak ortaya çıkarmasını gerektirir. Bazı aracı sistemleri prosedürleri okunabilir dosyalar olarak saklar; diğerleri hafızayı opak veya satıcı kontrollü bir biçimde tutar. Sağlayıcıların birinci sınıf özellikler olarak beceri kaynağı, fark ve geri alma özelliklerini ekleyip eklemediği, bu araştırma dizisinin konuşlandırılabilir herhangi bir şeye dönüşüp dönüşmeyeceğini belirleyen pratik sorudur.

Dördüncüsü, değerlendirme uygulamasının yaşam döngüsü fikrini özümseyip özümsemediğidir. Aracılara yönelik güvenlik testleri tek oturumlarda puan almaya devam ederse, sistem yayınlanan her kıyaslamayı geçebilir ve daha sonra ortaya çıkan güvenli olmayan prosedürleri sessizce belleğe yazabilir. Üçüncü taraf değerlendiricilerin, şirket içi güvenlik ekiplerinin ve yakında çıkacak aracıya özel düzenleyici kılavuzların yalnızca bir aracının ne yaptığını değil, aynı zamanda ne depoladığını, ne aldığını ve hangi yeni oturumu devraldığını sormaya başlayıp başlamayacağını izleyin. Günümüzde ortak belleğe sahip aracıları dağıtan kuruluşlar için, bu çalışmanın önerdiği kısa vadeli somut adım, beceri durumunun nerede yaşadığını, ona kimin yazabileceğini ve herhangi birinin bunu inceleyip incelemediğini bilmektir.

İlgili kılavuzlar ve testler