Pembelajaran dengan Pengawasan Mandiri
Pembelajaran dengan pengawasan mandiri melatih model pada data tak berlabel dengan menciptakan tugas yang jawabannya tersembunyi di dalam data itu sendiri.
Ikhtisar
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Menyelam Lebih Dalam
Memberi label pada data dengan tangan merupakan hal yang lambat dan mahal, namun dunia ini penuh dengan teks, gambar, audio, dan video yang tidak diberi label. Pembelajaran dengan pengawasan mandiri membuka kuncinya dengan menciptakan 'tugas dalih' di mana data menyediakan jawabannya sendiri. Contoh klasiknya adalah pemodelan bahasa bertopeng, yang digunakan oleh BERT: menyembunyikan beberapa kata dalam kalimat dan melatih model untuk memprediksinya dari konteks. Model bergaya GPT memprediksi kata berikutnya. Dalam visi, metode kontrastif seperti SimCLR menunjukkan model dua tanaman yang diperbesar dari gambar yang sama dan mengajarkannya bahwa keduanya saling terkait sambil memisahkan gambar yang berbeda. Memecahkan teka-teki yang dibuat sendiri ini akan memaksa model untuk membangun representasi internal yang kaya akan makna dan struktur. Representasi tersebut kemudian ditransfer dengan kuat ke tugas-tugas hilir nyata dengan sedikit atau tanpa data berlabel.
Wawasan Teknis
Caranya adalah dengan menghasilkan sinyal pengawasan secara gratis. Dalam pemodelan bertopeng, token tersembunyi adalah labelnya, sehingga kerugian dapat dihitung tanpa anotasi manusia. Dalam pembelajaran kontrastif, dua augmentasi dari satu gambar membentuk 'pasangan positif' yang harus ditempatkan berdekatan dalam ruang penyematan, sementara gambar lain 'negatif' disingkirkan. Apa pun yang terjadi, model ini dioptimalkan pada label yang berasal murni dari struktur datanya sendiri, mempelajari fitur-fitur umum yang nantinya hanya memerlukan sedikit penyesuaian.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Pembelajaran yang Diawasi Sendiri
Pembelajaran dengan pengawasan mandiri adalah mesin di balik model dasar saat ini, dan peran tersebut akan terus berkembang. Tren yang jelas adalah menuju pra-pelatihan multimodal, di mana satu model belajar bersama dari teks, gambar, audio, dan video menggunakan tujuan yang diawasi sendiri. Para peneliti mendorong melampaui metode kontrastif menuju pendekatan prediksi terselubung dalam teknik penglihatan dan penyulingan diri yang tidak memerlukan contoh negatif. Karena data berlabel berkualitas tinggi menjadi hambatan, mempelajari struktur yang berguna secara langsung dari aliran besar yang tidak berlabel akan tetap menjadi strategi utama untuk meningkatkan skala AI.
Implementasi Dunia Nyata
BERT mempelajari bahasa dengan memprediksi kata-kata yang disembunyikan, lalu menyempurnakan penelusuran, sentimen, atau menjawab pertanyaan
SimCLR melakukan pra-pelatihan encoder gambar pada foto yang tidak berlabel sehingga nantinya dapat diklasifikasikan dengan label yang sangat sedikit
Model bergaya GPT belajar menulis dengan berulang kali memprediksi token berikutnya di seluruh kumpulan teks yang besar
Model ucapan telah dilatih sebelumnya pada audio mentah tanpa label (memprediksi segmen suara terselubung) sebelum diadaptasi ke transkripsi
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Self-Supervised Learning membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pembelajaran yang Diawasi
Pertanyaan yang sering diajukan
What is Self-Supervised Learning?
Pembelajaran dengan pengawasan mandiri melatih model pada data tak berlabel dengan menciptakan tugas yang jawabannya tersembunyi di dalam data itu sendiri. Begitulah cara model dasar bahasa dan visi modern belajar dari internet mentah tanpa pasukan pelabel manusia.
Apa yang menjadikan pembelajaran 'diawasi sendiri'?
Pembelajaran dengan pengawasan mandiri menciptakan tugas dalih yang jawabannya tersembunyi di dalam data, sehingga tidak diperlukan pelabelan manusia.
Mengapa pembelajaran dengan pengawasan mandiri sangat berharga untuk model dasar?
Karena sinyal pengawasan berasal dari data itu sendiri, model dapat dilatih terlebih dahulu pada corpora besar yang tidak berlabel dari web.
Setelah pra-pelatihan yang diawasi sendiri, apa yang biasanya terjadi selanjutnya?
Pra-pelatihan membangun representasi umum yang dapat ditransfer dengan baik, sehingga hanya diperlukan penyesuaian ringan pada data berlabel untuk tugas tertentu.
Apa perbedaan tugas pengawasan mandiri model gaya GPT dengan tugas BERT?
Model bergaya GPT dilatih untuk memprediksi token berikutnya secara berurutan, sementara BERT memprediksi token bertopeng menggunakan konteks kiri dan kanan.