SelanjutnyaPanduan berikutnya
Fitur Online dan Offline Menyajikan Kemiringan
Teknis
PANDUAN Teknis
Penambangan Negatif Online dan Keras
Penambangan negatif keras memilih contoh yang paling informatif dan sulit dibedakan untuk dilatih daripada membuang-buang tenaga pada contoh mudah yang sudah dilakukan dengan benar oleh model.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Trik inilah yang membuat pembelajaran metrik dan deteksi objek saling bersatu dengan cepat dan akurat.
Menyelam Lebih Dalam
Ketika pelatihan dengan kerugian triplet atau kontrastif, sebagian besar sampel negatif secara acak sudah jauh dari jangkar, sehingga menghasilkan kerugian nol dan tidak ada gradien, sehingga pelatihan terhenti. Penambangan negatif memperbaikinya dengan memilih hard negative: contoh yang salah dekat dengan jangkar. Dalam penambangan offline, Anda memindai kumpulan data secara berkala untuk menemukannya, yang lambat dan basi. Penambangan online menghitungnya dengan cepat dalam setiap mini-batch: setelah forward pass, Anda melihat semua jarak berpasangan dalam batch dan memilih pelanggar yang paling sulit. FaceNet memperkenalkan penambangan semi-keras, memilih yang negatif lebih jauh daripada yang positif tetapi masih berada di dalam margin, menghindari ketidakstabilan yang dapat disebabkan oleh negatif yang paling sulit di awal pelatihan.
Implementasi Dunia Nyata
Pelatihan pengenalan wajah: FaceNet menggunakan penambangan online semi-keras untuk mempelajari penyematan yang memisahkan individu yang mirip.
Deteksi objek: SSD dan detektor serupa menerapkan penambangan negatif keras untuk menyeimbangkan banyaknya kotak latar belakang yang mudah dengan kotak objek langka.
Pengambilan bagian yang padat: sistem pencarian dan RAG menambang dokumen-dokumen negatif yang terlihat relevan tetapi sebenarnya tidak, sehingga mempertajam pengambilannya.
Sistem rekomendasi: memodelkan item yang tidak diklik pengguna tetapi menyerupai item yang diklik, mengajarkan perbedaan rasa yang lebih halus.
Masa Depan Penambangan Negatif Online dan Keras
Prinsipnya, melatih apa yang sulit, kini mendorong pembelajaran mandiri yang kontrastif, di mana kumpulan negatif dalam jumlah besar (dan bank memori seperti MoCo) menyediakan perbandingan sulit tanpa label. Para peneliti sedang menyempurnakan seberapa keras seharusnya suatu hal negatif, karena hal negatif yang terlalu keras sering kali memberikan label yang salah atau hampir menduplikasi hal positif sehingga merusak pelatihan. Harapkan penambangan yang lebih cerdas dan sadar akan ketidakpastian serta hard negative sintetis yang dihasilkan oleh model itu sendiri, ditambah integrasi yang lebih erat dengan sistem pengambilan yang mengumpulkan hard negative dari kueri pengguna sebenarnya.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Online and Hard Negative Mining quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Online dan Hard Negative Mining?
Penambangan negatif keras memilih contoh yang paling informatif dan sulit dibedakan untuk dilatih daripada membuang-buang tenaga pada contoh mudah yang sudah dilakukan dengan benar oleh model. Trik inilah yang membuat pembelajaran metrik dan deteksi objek menyatu dengan cepat dan akurat.
Mengapa sebagian besar sampel negatif yang diambil secara acak memberikan sedikit sinyal pelatihan dalam kehilangan triplet?
Negatif mudah berada jauh di luar margin, sudah memenuhi kerugian, dan pada dasarnya tidak memberikan kontribusi gradien, sehingga pelatihan terhenti.
Apa yang membedakan penambangan online dengan penambangan offline?
Penambangan online menghitung jarak berpasangan dalam batch saat ini di setiap langkah, sementara penambangan offline secara berkala memindai seluruh kumpulan data dan bisa menjadi basi.
Apa yang dimaksud dengan negatif 'semi-keras' seperti yang didefinisikan dalam FaceNet?
Negatif semi-keras berada lebih jauh dari jangkar daripada positif namun berada di dalam margin, memberikan gradien yang berguna dan stabil tanpa ketidakstabilan pada kasus yang paling sulit.
Dalam penambangan batch-hard, negatif manakah yang dipilih untuk setiap jangkar?
Penambangan batch-hard mengambil kasus yang paling sulit: untuk setiap jangkar dibutuhkan yang terjauh positif dan yang terdekat (paling membingungkan) negatif dalam batch.
Mengapa ukuran batch yang lebih besar cenderung meningkatkan hasil pembelajaran metrik yang ditambang?
Batch yang lebih besar menghasilkan matriks jarak berpasangan yang lebih besar, sehingga ada lebih banyak kandidat negatif yang paling sulit ditambang dari setiap langkah.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini