SeterusnyaPanduan seterusnya
Perlombongan Negatif Dalam Talian dan Keras
Teknikal
PANDUAN Teknikal
Persampelan Negatif dan Anggaran Kontrastif Bunyi
Pensampelan negatif dan Anggaran Kontrastif Bunyi (NCE) ialah helah yang membolehkan model mempelajari perbendaharaan kata yang besar tanpa mengira softmax penuh yang mahal.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Daripada menjaringkan setiap output yang mungkin, mereka mengajar model untuk memberitahu contoh sebenar (positif) daripada segelintir yang palsu (negatif).
Menyelam dalam
Apabila perbendaharaan kata mempunyai ratusan ribu perkataan, softmax biasa mesti menormalkan setiap perkataan untuk setiap langkah latihan — terlalu perlahan. Anggaran Kontrastif Bunyi membingkai semula masalah sebagai klasifikasi binari: diberi sasaran dan beberapa sampel 'bunyi' yang diambil daripada taburan yang diketahui, belajar untuk membezakan sampel sebenar daripada hingar, yang secara tersirat memulihkan kebarangkalian yang diingini tanpa normalisasi yang jelas. Pensampelan negatif, yang dipopularkan oleh model langkau-gram word2vec, ialah sepupu yang dipermudahkan: untuk setiap pasangan benar (perkataan, konteks) ia mengambil sampel k negatif dan melatih model untuk menetapkan skor tinggi kepada pasangan sebenar dan skor rendah kepada palsu, menggunakan objektif sigmoid. Kedua-duanya mengubah masalah berbilang kelas yang mahal kepada banyak masalah binari yang murah, menjadikan latihan pembenaman berskala besar praktikal. Pilihan taburan hingar (selalunya unigram dinaikkan kepada kuasa 3/4) sangat mempengaruhi kualiti.
Pelaksanaan Dunia Sebenar
word2vec langkau-gram dengan persampelan negatif pembenaman perkataan pembelajaran daripada berbilion-bilion token tanpa softmax penuh.
Model bahasa secara sejarah menggunakan NCE untuk melatih perbendaharaan kata ratusan ribu perkataan dengan cekap.
Sistem pengesyoran dan dapatkan semula persampelan item 'negatif' yang pengguna tidak berinteraksi untuk melatih model benam dua menara.
Pembenaman graf dan graf pengetahuan (mis., merosakkan kepala atau ekor tiga kali ganda) menggunakan sampel negatif untuk mempelajari perhubungan entiti.
Masa Depan Persampelan Negatif dan Anggaran Kontrastif Bunyi
Idea teras — belajar dengan membezakan yang positif dengan sampel negatif — kini menyokong pembelajaran perwakilan moden yang diselia sendiri dan kontras merentas penglihatan, bahasa dan pengesyoran. Kerja masa depan memfokuskan pada perlombongan keras-negatif (memilih negatif bermaklumat dan bukannya rawak), debias untuk negatif palsu, dan menskala negatif dengan murah melalui bank memori yang besar atau persampelan dalam kelompok. Apabila model berkembang, objektif sampel yang cekap kekal penting di mana-mana sahaja ruang keluaran atau set calon adalah besar, seperti pengesyoran pengambilan semula dan berskala besar.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Negative Sampling and Noise Contrastive Estimation quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Persampelan Negatif dan Anggaran Kontrastif Bunyi?
Pensampelan negatif dan Anggaran Kontrastif Bunyi (NCE) ialah helah yang membolehkan model mempelajari perbendaharaan kata yang besar tanpa mengira softmax penuh yang mahal. Daripada menjaringkan setiap output yang mungkin, mereka mengajar model untuk memberitahu contoh sebenar (positif) daripada segelintir yang palsu (negatif).
Apakah masalah yang paling utama diselesaikan oleh pensampelan negatif dan NCE?
Kedua-dua kaedah mengelak daripada menormalkan perbendaharaan kata yang besar dengan merangka semula latihan sebagai diskriminasi binari yang lebih murah.
Bagaimanakah Anggaran Kontrastif Kebisingan merangka semula tugas pembelajaran?
NCE melatih model untuk membezakan sampel sebenar daripada sampel yang diambil daripada taburan hingar yang diketahui.
Model manakah yang mempopularkan persampelan negatif untuk pembelajaran pembenaman perkataan?
Persampelan negatif telah diperkenalkan dan dipopularkan oleh varian langkau-gram word2vec.
Bagaimanakah persampelan negatif berbeza daripada NCE penuh?
Persampelan negatif memudahkan NCE dengan mengalih keluar normalisasi, memperdagangkan ketepatan kebarangkalian untuk kelajuan dan pembenaman yang baik.
Mengapakah negatif sering dijadikan sampel daripada taburan unigram dinaikkan kepada kuasa 3/4?
Eksponen 0.75 melancarkan taburan kekerapan supaya perkataan biasa tidak mendominasi dan perkataan jarang masih muncul.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini