Apa yang terjadi
Riset Pembelajaran Mesin Apple memposting sebuah makalah, yang tercantum dalam area Privasi dan Ilmu Data serta Anotasi, yang mengusulkan agar penghentian pembelajaran mesin melewati titik-titik pelatihan yang pengaruh terukurnya terhadap keluaran model dapat diabaikan, yang menurut laporan penulis mengurangi penghentian pembelajaran hingga sekitar 50 persen dalam contoh mereka.
Riset Pembelajaran Mesin Apple telah menerbitkan makalah berjudul "Ketika Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs," yang dibuat oleh Udi Wieder, Vitaly Feldman, Robert Fisher, dan Anat Kleiman. Halaman publikasi mengarsipkan karya di bawah dua bidang penelitian, Privasi dan Ilmu Data serta Anotasi, dan memberi label pada makalah. Subjeknya adalah penghapusan pembelajaran mesin: masalah menghilangkan efek contoh pelatihan spesifik dari model yang telah dilatih, biasanya karena seseorang meminta datanya dihapus atau karena kewajiban privasi mengharuskannya. Halaman tersebut mencatat bahwa Kleiman berafiliasi dengan Harvard dan pekerjaan tersebut dilakukan saat berada di Apple.
Argumen makalah tersebut, seperti yang dirangkum dalam abstrak di situs Apple, adalah bahwa metode unlearning yang ada memperlakukan setiap titik dalam "rangkaian yang dilupakan" - kumpulan contoh yang harus dihilangkan - sama pentingnya, dan bahwa asumsi ini sia-sia. Para penulis mengatakan mereka membandingkan fungsi pengaruh dalam tugas bahasa dan penglihatan. Fungsi pengaruh adalah teknik yang sudah mapan untuk memperkirakan seberapa besar contoh pelatihan individu mengubah parameter atau prediksi model. Berdasarkan perbandingan tersebut, penulis melaporkan bahwa mereka telah mengidentifikasi subkumpulan data pelatihan yang dampaknya terhadap keluaran model dapat diabaikan, dan mereka mengusulkan kerangka kerja yang memperkecil kumpulan data sebelum prosedur penghentian pembelajaran dijalankan.
Judul utamanya adalah milik makalah tersebut: "penghematan komputasi yang signifikan (hingga sekitar 50 persen) pada contoh empiris dunia nyata." Klaim tersebut, dan klaim bahwa subset dengan dampak yang dapat diabaikan dapat diidentifikasi dengan andal, berasal dari penulis seperti yang dirangkum di halaman Apple. Mereka tidak diverifikasi secara independen di sini. Abstrak tidak menyebutkan nama model, kumpulan data, atau algoritma penghentian pembelajaran dasar yang digunakan; dokumen ini tidak menyatakan bagaimana dampak yang “dapat diabaikan” didefinisikan atau dibatasi; dan hal ini tidak menjelaskan metrik yang digunakan untuk menilai apakah penghentian pembelajaran berhasil. Kata "gratis" dalam judulnya mengacu pada biaya komputasi, bukan klaim apa pun tentang jaminan privasi.
Beberapa detail tidak diketahui dari sumbernya. Halaman tersebut memuat bulan terbit Agustus 2026, sedangkan entri bacaan terkait dengan judul yang sama pada halaman yang sama bertanggal 17 Juli 2026; halaman tersebut tidak menjelaskan kedua tanggal tersebut. Tidak ada indikasi yang terlihat mengenai tempat tinjauan sejawat atau penerimaan konferensi, tidak ada tautan ke kode yang dirilis, bobot model, atau artefak evaluasi di halaman tersebut, dan tidak ada pernyataan tentang apakah Apple menggunakan pendekatan ini dalam produk pengiriman atau saluran data internal apa pun. Abstrak juga tidak membahas biaya komputasi untuk memperkirakan pengaruh, yang bagi model besar itu sendiri merupakan pengeluaran yang besar dan perlu dihitung terhadap penghematan yang dilaporkan.
Detail sumber: machinelearning.apple.com ↗
Mengapa itu penting
Memenuhi permintaan penghapusan data pada model yang terlatih membutuhkan biaya yang besar, dan makalah ini mengubah pembelajaran dari biaya per poin yang seragam menjadi masalah triase — namun triase berbasis efek adalah argumen efisiensi, bukan jaminan hukum atau keamanan yang ditetapkan.
Penghapusan data telah menjadi masalah rekayasa operasional dan bukan masalah hukum semata. Saat pengguna menarik persetujuan atau menggunakan hak untuk menghapus, menghapus baris dari database sangatlah mudah; menghapus apa yang tidak diserap oleh model terlatih dari baris tersebut. Opsi yang dapat diandalkan adalah pelatihan ulang tanpa data, yang cukup mahal sehingga organisasi cenderung menggabungkannya ke dalam siklus pelatihan ulang secara berkala. Perkiraan metode unlearning menjanjikan sesuatu yang lebih cepat, namun lebih sulit untuk diverifikasi. Pekerjaan yang menurunkan biaya operasi berdampak langsung pada apakah permintaan penghapusan dapat dipenuhi secara rutin dan cepat, atau apakah permintaan tersebut mengantri hingga pelatihan berikutnya dijalankan.
Langkah konseptual dalam makalah ini bisa dibilang lebih penting daripada angka efisiensi. Jika suatu contoh spesifik terbukti tidak meninggalkan jejak terukur pada perilaku model, maka mungkin tidak ada yang dapat diurungkan untuk contoh tersebut. Hal ini mengubah penghentian pembelajaran dari biaya per poin yang seragam menjadi latihan triase: ukur terlebih dahulu, lalu habiskan komputasi hanya jika hal tersebut dapat mengubah perilaku model. Untuk tim yang menangani permintaan penghapusan dalam jumlah besar, biaya variabel yang disesuaikan dengan jumlah data yang benar-benar penting merupakan masalah perencanaan yang berbeda dengan biaya tetap yang disesuaikan dengan jumlah permintaan yang masuk.
Batasan pentingnya adalah bahwa kewajiban privasi umumnya ditulis berdasarkan permintaan, bukan berdasarkan dampak yang terukur. Regulator atau orang yang terkena dampak mungkin tidak menerima "model yang baru saja mempelajarinya" sebagai bukti bahwa kewajiban penghapusan telah dipenuhi, terutama karena estimasi pengaruh merupakan perkiraan yang keakuratannya diketahui bervariasi menurut model, prosedur pelatihan, dan metode perkiraan yang digunakan. Makalah ini, berdasarkan bukti abstraknya, membingkai kontribusinya sebagai penghematan komputasi; laporan ini tidak mengklaim bahwa melewatkan titik-titik pengaruh rendah memenuhi undang-undang tertentu, dan liputan ini tidak boleh dianggap sebagai pernyataan yang memenuhi undang-undang tersebut.
Ada juga dimensi keamanan yang dibiarkan terbuka oleh abstrak. Jika suatu titik salah diklasifikasikan sebagai berdampak rendah dan dibiarkan begitu saja, pertanyaan praktisnya adalah apakah titik tersebut tetap dapat dipulihkan — melalui inferensi keanggotaan, yang menguji apakah catatan tertentu ada dalam set pelatihan, atau melalui ekstraksi langsung teks yang dihafal. Penghafalan dalam model-model besar diketahui tidak merata, dengan catatan-catatan yang langka atau outlier sering kali lebih terbuka dibandingkan dengan catatan-catatan biasa, yang merupakan populasi yang perkiraan pengaruhnya kemungkinan besar tidak pasti. Abstrak tidak melaporkan apakah penulis mengevaluasi kerangka kerja mereka terhadap serangan semacam itu, sehingga perlawanan terhadap serangan tersebut tidak diketahui dari sumber ini.
Mekanisme Interaktif: Cara Kerja Sebenarnya
Jelajahi teknologi yang mendasari di balik perkembangan ini secara interaktif.
crm_get_transaction(id='4092').In AI training, what is an "epoch"?
Apa yang harus ditonton selanjutnya
Apakah makalah lengkap melaporkan model, kumpulan data, ambang batas, dan evaluasi serangan privasi di balik angka 50 persen tersebut, apakah dampak komputasi itu sendiri yang terjaring, dan apakah regulator atau laboratorium lain menerima atau menentang gagasan bahwa titik-titik pengaruh rendah dapat dibiarkan begitu saja.
Hal pertama yang harus dicari adalah makalah lengkap di belakang abstrak. Pertanyaan-pertanyaan kunci mencakup model dan kumpulan data mana yang digunakan, metode pelepasan pembelajaran dasar apa yang digunakan untuk mengukur penghematan, perkiraan fungsi pengaruh mana yang dipilih, bagaimana ambang batas untuk dampak yang “dapat diabaikan” ditetapkan, dan apakah angka hingga 50 persen mencerminkan kasus yang umum atau kasus terbaik di antara contoh-contoh yang diuji. Apakah karya tersebut telah diterima di tempat tinjauan sejawat, dan apakah kode atau artefak evaluasi dirilis, akan menentukan seberapa cepat orang lain dapat memeriksa hasilnya.
Kedua, perhatikan bagaimana kualitas lupa diukur. Metrik kesamaan keluaran — yang menunjukkan bahwa suatu model berperilaku seolah-olah model tersebut belum pernah melihat datanya — merupakan bukti yang lebih lemah dibandingkan evaluasi permusuhan yang menggunakan inferensi keanggotaan atau serangan ekstraksi. Yang juga patut diperhatikan adalah akuntansi: apakah penghematan yang dilaporkan sudah dikurangi dengan perkiraan pengaruh komputasi, dan bagaimana skala biaya tersebut seiring dengan berkembangnya model dan kumpulan lupa. Sebuah metode yang menghemat separuh komputasi yang tidak dipelajari namun membutuhkan jalur pengaruh yang mahal mungkin terlihat berbeda pada skala frontier dibandingkan pada contoh yang lebih kecil.
Ketiga, perhatikan penerimaan regulasi. Triase berbasis efek mengundang pertanyaan yang belum ditetapkan oleh otoritas perlindungan data dalam pedoman publik: apakah pengontrol dapat menolak untuk memodifikasi model dengan alasan bahwa kontribusi data sangat kecil. Panduan, tindakan penegakan hukum, atau upaya standar apa pun yang membahas kewajiban penghapusan untuk model terlatih akan menentukan apakah pendekatan ini dapat digunakan dalam alur kerja kepatuhan atau tetap menjadi teknik efisiensi internal.
Terakhir, perhatikan adopsi dan bantahan. Replikasi independen pada arsitektur dan distribusi data yang berbeda akan menentukan apakah subset dengan pengaruh rendah adalah hal yang umum dan dapat diidentifikasi secara umum, atau merupakan artefak dari pengaturan tertentu. Upaya untuk mematahkan metode ini – membangun kasus di mana suatu titik terlihat memiliki pengaruh yang rendah namun tetap dapat diekstraksi – juga akan memberikan informasi yang sama. Dan masih belum diketahui apakah Apple bermaksud menggunakannya dalam produksi; halaman publikasi tidak membuat pernyataan seperti itu, dan tidak ada yang berasumsi.