PANDUAN Teknikal

Ketidakseimbangan Kelas dan Pensampelan Semula

Ketidakseimbangan kelas ialah apabila satu hasil jauh melebihi yang lain — seperti 99.9% transaksi sah berbanding 0.1% penipuan — yang menipu model untuk mengabaikan kelas yang jarang berlaku tetapi penting.

Dengar panduan iniAI-diceritakan · ~2 min

Pada halaman ini2 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Ketidakseimbangan Kelas dan Pensampelan Semula
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Pensampelan semula mengimbangi semula data latihan supaya model benar-benar belajar untuk mengesan minoriti.

Menyelam dalam

Apabila kelas terpesong, model boleh mencapai ketepatan 99.9% dengan sentiasa meramalkan majoriti dan tidak pernah menangkap satu penipuan, yang tidak berguna. Pensampelan semula membetulkan pengedaran latihan dalam dua cara yang luas. Persampelan berlebihan menduplikasi atau mensintesis contoh minoriti — SMOTE klasik (Teknik Pensampelan Terlebih Minoriti Sintetik) mencipta titik baharu dengan menginterpolasi antara sampel minoriti dan jiran minoriti terdekat daripada menyalinnya. Pensampelan kurang sebaliknya membuang contoh majoriti (secara rawak, atau bijak melalui kaedah seperti pautan Tomek atau NearMiss) untuk meratakan perkara, dengan kos membuang data. Alternatif yang mengelak daripada menyentuh data termasuk pemberat kelas (menghukum kesilapan minoriti lebih banyak dalam fungsi kerugian) dan melaraskan ambang keputusan selepas latihan.

Pelaksanaan Dunia Sebenar

Melatih pengesan penipuan kad kredit di mana penipuan tulen berada di bawah 1% daripada urus niaga, menggunakan SMOTE untuk menguatkan kes penipuan yang jarang berlaku

Membina model perubatan untuk penyakit yang jarang berlaku yang terdapat hanya dalam beberapa peratus pesakit, menggunakan pemberat kelas supaya kes yang terlepas dikenakan penalti yang berat

Mengesan item yang rosak pada barisan pembuatan di mana hampir semua produk lulus pemeriksaan, mengurangkan sampel item 'baik' untuk mengimbangi latihan

Membenderakan pencerobohan rangkaian yang jarang berlaku dalam log keselamatan siber yang dikuasai oleh trafik biasa, dinilai dengan Precision-Recall AUC dan bukannya ketepatan

Masa Depan Ketidakseimbangan Kelas dan Pensampelan Semula

Pensampelan semula semakin diautomatikkan dalam saluran paip ML, dengan perpustakaan seperti pembelajaran tidak seimbang disepadukan terus ke dalam pengesahan silang. Penyelidikan sedang beralih ke arah pembelajaran sensitif kos dan fungsi kehilangan yang disesuaikan — seperti kehilangan fokus, yang mengurangkan wajaran contoh majoriti mudah — yang sering mengatasi prestasi pensampelan semula mentah pada rangkaian dalam. Untuk data jadual dan imej, model generatif yang mensintesis sampel minoriti realistik muncul sebagai pengganti yang lebih canggih kepada interpolasi gaya SMOTE.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Class Imbalance and Resampling quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Ketidakseimbangan Kelas dan Pensampelan Semula?

Ketidakseimbangan kelas ialah apabila satu hasil jauh melebihi yang lain — seperti 99.9% transaksi sah berbanding 0.1% penipuan — yang menipu model untuk mengabaikan kelas yang jarang berlaku tetapi penting. Pensampelan semula mengimbangi semula data latihan supaya model benar-benar belajar untuk mengesan minoriti.

Mengapakah ketepatan biasa merupakan metrik yang lemah untuk masalah pengelasan yang sangat tidak seimbang?

Jika 99.9% kes adalah negatif, model yang sentiasa meramalkan negatif mendapat ketepatan 99.9% sambil menangkap sifar positif, jadi ketepatan menyembunyikan kegagalan total pada kelas jarang berlaku.

Apakah yang SMOTE lakukan?

SMOTE (Teknik Persampelan Terlebih Minoriti Sintetik) mencipta contoh minoriti baharu dengan menginterpolasi antara titik minoriti dan jiran minoriti terdekatnya, dan bukannya hanya menduplikasinya.

Pendekatan yang manakah mengendalikan ketidakseimbangan TANPA mengubah bilangan contoh latihan?

Pemberat kelas membiarkan data tidak disentuh dan sebaliknya menjadikan fungsi kehilangan menghukum ralat pada kelas minoriti dengan lebih berat.

Apakah risiko utama untuk menggunakan pensampelan berlebihan sebelum membahagikan data anda kepada set kereta api dan ujian?

Pensampelan semula sebelum pemisahan membolehkan mata minoriti yang hampir sama muncul dalam set latihan dan ujian, membocorkan maklumat dan menghasilkan prestasi yang terlalu optimistik dan tidak realistik.

Apakah kelemahan utama pensampelan terkurang rawak?

Pensampelan kurang mengimbangi kelas dengan membuang contoh majoriti, yang boleh membuang data bermaklumat dan menjejaskan keupayaan model untuk mempelajari kelas majoriti.