SelanjutnyaPanduan berikutnya
Penambangan Negatif Online dan Keras
Teknis
PANDUAN Teknis
Pengambilan Sampel Negatif dan Estimasi Kontras Kebisingan
Pengambilan sampel negatif dan Estimasi Kontras Kebisingan (NCE) adalah trik yang memungkinkan model mempelajari banyak kosakata tanpa menghitung softmax penuh yang mahal.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Alih-alih menilai setiap keluaran yang mungkin, mereka mengajarkan model untuk memberikan contoh nyata (positif) dari beberapa contoh palsu (negatif).
Menyelam Lebih Dalam
Ketika kosakata memiliki ratusan ribu kata, softmax normal harus dinormalisasi pada setiap kata untuk setiap langkah pelatihan — terlalu lambat. Estimasi Kontrastif Kebisingan membingkai ulang masalah sebagai klasifikasi biner: dengan memberikan target dan beberapa sampel 'kebisingan' yang diambil dari distribusi yang diketahui, pelajari cara membedakan sampel sebenarnya dari kebisingan, yang secara implisit memulihkan probabilitas yang diinginkan tanpa normalisasi eksplisit. Pengambilan sampel negatif, yang dipopulerkan oleh model skip-gram word2vec, adalah sepupu yang disederhanakan: untuk setiap pasangan (kata, konteks) yang benar, sampel diambil sebanyak k negatif dan melatih model untuk menetapkan skor tinggi pada pasangan asli dan skor rendah pada pasangan palsu, menggunakan tujuan sigmoid. Keduanya mengubah masalah kelas jamak yang mahal menjadi masalah biner yang murah, membuat pelatihan penyematan skala besar menjadi praktis. Pilihan distribusi kebisingan (seringkali unigram dipangkatkan 3/4) sangat mempengaruhi kualitas.
Implementasi Dunia Nyata
word2vec skip-gram dengan pengambilan sampel negatif mempelajari penyematan kata dari miliaran token tanpa softmax penuh.
Model bahasa secara historis menggunakan NCE untuk melatih kosakata ratusan ribu kata secara efisien.
Sistem rekomendasi dan pengambilan sampel item 'negatif' yang tidak berinteraksi dengan pengguna untuk melatih model penyematan dua menara.
Penyematan grafik dan grafik pengetahuan (misalnya, merusak kepala atau ekor triple) menggunakan sampel negatif untuk mempelajari relasi entitas.
Masa Depan Pengambilan Sampel Negatif dan Estimasi Kontras Kebisingan
Ide intinya — belajar dengan membandingkan hal-hal positif dengan contoh negatif — kini mendasari pembelajaran representasi modern yang diawasi mandiri dan kontrastif di seluruh visi, bahasa, dan rekomendasi. Pekerjaan di masa depan berfokus pada penambangan hard-negatif (memilih negatif yang informatif daripada yang acak), melakukan debiasasi untuk negatif palsu, dan menskalakan negatif dengan murah melalui bank memori besar atau pengambilan sampel dalam batch. Seiring berkembangnya model, tujuan pengambilan sampel yang efisien tetap penting ketika ruang keluaran atau kumpulan kandidat sangat besar, seperti pengambilan dan pemberi rekomendasi berskala besar.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Negative Sampling and Noise Contrastive Estimation quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa yang dimaksud dengan Pengambilan Sampel Negatif dan Estimasi Kontras Kebisingan?
Pengambilan sampel negatif dan Estimasi Kontras Kebisingan (NCE) adalah trik yang memungkinkan model mempelajari banyak kosakata tanpa menghitung softmax penuh yang mahal. Alih-alih menilai setiap keluaran yang mungkin, mereka mengajarkan model untuk memberikan contoh nyata (positif) dari beberapa contoh palsu (negatif).
Masalah apa yang terutama dipecahkan oleh pengambilan sampel negatif dan NCE?
Kedua metode tersebut menghindari normalisasi kosakata yang sangat banyak dengan membingkai ulang pelatihan sebagai diskriminasi biner yang lebih murah.
Bagaimana Estimasi Kontrastif Kebisingan mengubah tugas pembelajaran?
NCE melatih model untuk membedakan sampel nyata dari sampel yang diambil dari distribusi kebisingan yang diketahui.
Model manakah yang mempopulerkan pengambilan sampel negatif untuk mempelajari penyematan kata?
Pengambilan sampel negatif diperkenalkan dan dipopulerkan oleh varian skip-gram dari word2vec.
Apa perbedaan pengambilan sampel negatif dengan NCE penuh?
Pengambilan sampel negatif menyederhanakan NCE dengan menghilangkan normalisasi, menukar kebenaran probabilistik demi kecepatan dan penyematan yang baik.
Mengapa sampel negatif dari distribusi unigram sering dipangkatkan 3/4?
Eksponen 0,75 menghaluskan distribusi frekuensi sehingga kata-kata umum tidak mendominasi dan kata-kata langka tetap muncul.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini