SeterusnyaPanduan seterusnya
Penyulingan Resapan Adversarial dan Model Turbo
Teknikal
PANDUAN Teknikal
Model imej resapan biasanya menjana imej baharu, tetapi penyelidikan telah menunjukkan ia kadangkala boleh menghasilkan semula imej latihan tertentu hampir tepat, terutamanya imej yang muncul berkali-kali dalam data latihan.
Dengar panduan iniAI-diceritakan · ~3 min
Ini dipanggil hafalan. Ia penting untuk hak cipta, kerana hampir salinan karya yang dilindungi boleh keluar daripada model, dan untuk privasi, kerana foto orang sebenar atau imbasan perubatan boleh dimuntahkan.
A diffusion model learns to reverse a noising process: during training it sees images with noise added and learns to predict and remove that noise. If it generalizes well, it learns the statistics of images in general and produces new combinations. But neural networks can also fit individual examples, and when one image appears hundreds or thousands of times in the data, the cheapest way to reduce training loss on it is to store it. The key evidence comes from Carlini and colleagues' 2023 paper 'Extracting Training Data from Diffusion Models'. They generated many images for captions of the most duplicated training images and flagged outputs that were extremely close to a training image. They extracted over a hundred near-identical copies from Stable Diffusion, including photos of identifiable people, and found higher memorization rates in Google's Imagen. Separately, Somepalli and colleagues (2022-2023) showed that Stable Diffusion outputs frequently copied parts or layouts of training images, and linked copying to duplicated images and highly specific captions. Three misconceptions are worth correcting. First, memorization is not the model's normal behavior: extracted copies are rare relative to all generations. Second, rare does not mean harmless, because a determined user can target the images most likely to be memorized. Third, memorization is not only exact pixel copying; models can reproduce characters, logos, watermarks and distinctive compositions. This evidence has featured in legal debates, including lawsuits such as Getty Images v. Stability AI and Andersen v. Stability AI, although how courts treat model training and outputs is still being worked out and varies by country. For privacy, the concern is sharper in small fine-tuning datasets, such as medical or personal photos, where each example has more influence.
Penyelidik menggesa model dengan kapsyen tepat bagi imej latihan yang banyak diduakan dan mendapatkan kembali output yang hampir sama piksel dengan foto asal.
Seorang pereka bentuk meminta gaya lukisan terkenal dan menerima imej yang menyalin gubahan dan butiran satu karya seni tertentu dan bukannya karya baharu.
Penjana imej yang dilatih pada imej web kadangkala memaparkan versi tera air agensi saham yang diherotkan, menunjukkan ia menyerap corak daripada imej sumber berulang.
Pasukan hospital memperhalusi model resapan pada set kecil imbasan pesakit menguji sama ada model itu boleh mengeluarkan hampir salinan imbasan sebenar sebelum sebarang perkongsian dibenarkan.
Semakan penduadua dan persamaan output menjadi amalan standard untuk pembangun yang bertanggungjawab, dan penyelidikan diteruskan untuk mengesan gesaan yang dihafal pada masa inferens. Privasi yang berbeza mungkin menjadi praktikal untuk domain sensitif seperti pengimejan perubatan, walaupun pertukaran kualiti kekal. Gambaran undang-undang tidak dapat diselesaikan: mahkamah di negara yang berbeza sedang mempertimbangkan sama ada latihan dan output melanggar hak cipta, dan keputusan mungkin berbeza. Pembangun berkemungkinan menghadapi lebih banyak tekanan untuk mendokumenkan sumber data latihan dan menunjukkan cara mereka menguji dan mengehadkan regurgitasi.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Model imej resapan biasanya menjana imej baharu, tetapi penyelidikan telah menunjukkan ia kadangkala boleh menghasilkan semula imej latihan tertentu hampir tepat, terutamanya imej yang muncul berkali-kali dalam data latihan. Ini dipanggil hafalan. Ia penting untuk hak cipta, kerana hampir salinan karya yang dilindungi boleh keluar daripada model, dan untuk privasi, kerana foto orang sebenar atau imbasan perubatan boleh dimuntahkan.
Hafalan bermaksud output yang hampir salinan imej latihan tertentu, bukannya imej baharu.
Pendedahan berulang kepada imej yang sama menjadikan contoh tepat itu sebagai cara yang cekap untuk mengurangkan kerugian.
Mereka mengekstrak lebih seratus salinan hampir daripada Stable Diffusion, termasuk foto orang yang boleh dikenal pasti, dan menemui kadar yang lebih tinggi dalam Imagen.
Imej yang dihafal muncul secara konsisten tanpa mengira benih, kumpulan calon bendera keluaran yang hampir serupa begitu ketat.
Salinan yang diekstrak jarang berlaku berbanding semua output, tetapi penyerang boleh memfokuskan pada imej yang paling mungkin dihafal.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Penyulingan Resapan Adversarial dan Model Turbo
Teknikal