SelanjutnyaPanduan berikutnya
Pengambilan Sampel Bootstrap
Teknis
PANDUAN Teknis
Ketidakseimbangan Kelas dan Pengambilan Sampel Ulang
Class imbalance is when one outcome vastly outnumbers another — like 99.9% legitimate transactions versus 0.1% fraud — which tricks models into ignoring the rare but important class.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Resampling rebalances the training data so the model actually learns to spot the minority.
Menyelam Lebih Dalam
Ketika kelas tidak seimbang, suatu model dapat mencapai akurasi 99,9% dengan selalu memprediksi mayoritas dan tidak pernah menangkap satu pun penipuan, dan hal ini tidak ada gunanya. Pengambilan sampel ulang memperbaiki distribusi pelatihan dalam dua cara umum. Pengambilan sampel yang berlebihan menduplikasi atau mensintesis contoh minoritas — SMOTE (Teknik Pengambilan Sampel Berlebihan Minoritas Sintetis) klasik menciptakan poin baru dengan melakukan interpolasi antara sampel minoritas dan tetangga minoritas terdekatnya, bukan menyalinnya. Sebaliknya, undersampling membuang sebagian besar contoh (secara acak, atau cerdas melalui metode seperti tautan Tomek atau NearMiss) untuk menyamakan kedudukan, dengan mengorbankan data. Alternatif yang menghindari menyentuh data termasuk pembobotan kelas (menghukum kesalahan minoritas lebih banyak dalam fungsi kerugian) dan menyesuaikan ambang batas keputusan setelah pelatihan.
Implementasi Dunia Nyata
Melatih pendeteksi penipuan kartu kredit di mana penipuan asli terjadi di bawah 1% transaksi, menggunakan SMOTE untuk memperkuat kasus penipuan yang jarang terjadi
Membangun model medis untuk penyakit langka yang hanya terjadi pada beberapa persen pasien, menerapkan bobot kelas sehingga kasus yang terlewat akan dikenakan sanksi berat
Mendeteksi item yang cacat di lini produksi di mana hampir semua produk lolos inspeksi, mengambil sampel item yang 'baik' untuk menyeimbangkan pelatihan
Menandai intrusi jaringan yang jarang terjadi dalam log keamanan siber yang didominasi oleh lalu lintas normal, dievaluasi dengan AUC Precision-Recall, bukan akurasi
Masa Depan Ketidakseimbangan Kelas dan Pengambilan Sampel Ulang
Pengambilan sampel ulang semakin dilakukan secara otomatis di dalam pipeline ML, dengan pustaka seperti Balanced-Learn yang terintegrasi langsung ke dalam validasi silang. Penelitian beralih ke pembelajaran yang sensitif terhadap biaya dan fungsi kerugian yang disesuaikan – seperti kehilangan fokus, yang mengurangi bobot sebagian besar contoh – yang sering kali mengungguli pengambilan sampel ulang pada jaringan dalam. Untuk data tabular dan gambar, model generatif yang mensintesis sampel minoritas yang realistis muncul sebagai penerus interpolasi gaya SMOTE yang lebih canggih.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Class Imbalance and Resampling quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Class Imbalance and Resampling?
Ketidakseimbangan kelas terjadi ketika satu hasil melebihi hasil lainnya — seperti 99,9% transaksi sah versus 0,1% penipuan — yang menipu model agar mengabaikan kelas yang jarang namun penting. Pengambilan sampel ulang akan menyeimbangkan kembali data pelatihan sehingga model benar-benar belajar mengenali kelompok minoritas.
Mengapa akurasi biasa merupakan metrik yang buruk untuk masalah klasifikasi yang sangat tidak seimbang?
Jika 99,9% kasusnya negatif, model yang selalu memprediksi negatif akan mendapatkan akurasi 99,9% dan tidak mendapatkan positif, sehingga akurasi menyembunyikan kegagalan total pada kelas langka.
Apa yang SMOTE lakukan?
SMOTE (Synthetic Minority Over-sampling Technique) menciptakan contoh minoritas baru dengan melakukan interpolasi antara titik minoritas dan tetangga minoritas terdekatnya, bukan sekadar menduplikasinya.
Pendekatan manakah yang menangani ketidakseimbangan TANPA mengubah jumlah contoh pelatihan?
Pembobotan kelas membuat data tidak tersentuh dan malah membuat fungsi kerugian memberikan hukuman yang lebih berat pada kesalahan pada kelas minoritas.
Apa risiko utama penerapan pengambilan sampel berlebihan sebelum membagi data Anda menjadi rangkaian pelatihan dan pengujian?
Pengambilan sampel ulang sebelum pemisahan memungkinkan titik minoritas yang hampir identik muncul di rangkaian pelatihan dan pengujian, sehingga membocorkan informasi dan menghasilkan kinerja yang terlalu optimis dan tidak realistis.
Apa kelemahan utama dari pengambilan sampel secara acak?
Pengambilan sampel yang terlalu rendah akan menyeimbangkan kelas dengan membuang contoh mayoritas, yang dapat membuang data informatif dan merugikan kemampuan model untuk mempelajari kelas mayoritas.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini