Pembelajaran Transfer
Pembelajaran transfer menggunakan kembali model yang telah dilatih pada kumpulan data besar dan menyesuaikannya dengan tugas baru yang terkait.
Ikhtisar
Instead of starting from scratch, you stand on the shoulders of a model that already learned useful general features, saving enormous time, data, and compute.
Menyelam Lebih Dalam
Melatih model yang kuat dari awal sering kali membutuhkan jutaan contoh berlabel dan perangkat keras yang serius. Pembelajaran transfer menghindari hal itu. Model yang dilatih sebelumnya pada kumpulan data besar, seperti jaringan gambar yang dilatih di ImageNet atau model bahasa yang dilatih pada teks web, telah mempelajari pola-pola yang berguna secara luas: tepian dan bentuk untuk visi, tata bahasa, dan makna teks. Anda mengambil model yang sudah dilatih sebelumnya dan menyesuaikan pengetahuannya dengan masalah Anda yang lebih kecil dan spesifik. Ada dua gaya utama. Dalam ekstraksi fitur Anda membekukan sebagian besar jaringan dan hanya melatih lapisan keluaran baru di atasnya. Dalam penyesuaian, Anda juga mencairkan beberapa lapisan yang lebih dalam dan terus melatihnya dengan kecepatan pemelajaran rendah sehingga model menyesuaikan dengan data Anda dengan lembut tanpa melupakan apa yang diketahuinya.
Wawasan Teknis
Jaringan yang telah dilatih sebelumnya mempelajari hierarki: lapisan awal menangkap fitur umum (tepi, tekstur, hubungan kata dasar) sementara lapisan selanjutnya menangkap konsep khusus tugas. Pembelajaran transfer memanfaatkan ini. Jika tugas Anda mirip dengan aslinya, bekukan lapisan awal sebagai ekstraktor fitur tetap dan latih kembali hanya bagian kepalanya. Jika data Anda lebih berbeda, sempurnakan lapisan yang lebih dalam menggunakan kecepatan pemelajaran yang sangat kecil sehingga pembaruan dapat dilakukan secara perlahan. Risiko terbesarnya adalah pergeseran domain: jika data baru terlihat terlalu berbeda dari data pra-pelatihan, fitur yang dipinjam tidak akan cocok.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Pembelajaran Transfer
Pembelajaran transfer telah menjadi cara standar pembuatan AI. Saat ini hampir tidak ada orang yang melatih visi besar atau model bahasa dari awal; tim mengadaptasi model pondasi yang telah dilatih sebelumnya. Batasannya adalah metode yang efisien dalam parameter seperti LoRA dan adaptor, yang hanya mengubah sebagian kecil bobot untuk menyesuaikan model raksasa dengan biaya murah. Tren ini diperkirakan akan semakin mendalam: model-model yang lebih kecil dan terspesialisasi disaring dan disempurnakan dari model-model besar, ditambah semakin besarnya perhatian untuk memitigasi pergeseran domain dan menghindari 'bencana lupa' ketika sebuah model diadaptasi berulang kali.
Implementasi Dunia Nyata
Menyempurnakan jaringan yang telah dilatih sebelumnya oleh ImageNet untuk mendeteksi cacat tertentu pada lini produksi pabrik hanya dengan beberapa ribu foto
Mengadaptasi model bahasa besar yang telah dilatih sebelumnya untuk menyusun ringkasan hukum atau medis dengan menyempurnakan korpus khusus yang lebih kecil
Menggunakan model yang dilatih tentang ucapan umum sebagai titik awal untuk membangun pengenalan aksen atau dialek tertentu
Melatih ulang lapisan terakhir model visi untuk mengklasifikasikan penyakit tanaman dari gambar daun untuk aplikasi pertanian
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Transfer Learning membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Transfer Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pembelajaran Semi-Supervisi
Pertanyaan yang sering diajukan
What is Transfer Learning?
Pembelajaran transfer menggunakan kembali model yang telah dilatih pada kumpulan data besar dan menyesuaikannya dengan tugas baru yang terkait. Daripada memulai dari awal, Anda berdiri di atas model yang telah mempelajari fitur-fitur umum yang berguna, menghemat banyak waktu, data, dan komputasi.
Apa ide inti dari pembelajaran transfer?
Pembelajaran transfer mengambil model yang telah mempelajari fitur-fitur umum dan mengadaptasinya, menghemat data, waktu, dan komputasi.
Mengapa Anda menggunakan kecepatan pembelajaran yang sangat rendah saat menyempurnakan lapisan yang lebih dalam?
Pembaruan besar pada kumpulan data kecil dapat menimpa fitur-fitur berharga yang telah dilatih sebelumnya dan melakukan overfit dengan cepat, sehingga pembaruan tetap dilakukan dalam jumlah kecil.
Situasi mana yang paling cocok untuk ekstraksi fitur biasa (membekukan basis)?
Ketika target tugas mendekati aslinya dan data terbatas, fitur yang dibekukan sudah relevan, sehingga Anda hanya memerlukan head baru.
Masalah apa yang dijelaskan oleh 'pergeseran domain' dalam pembelajaran transfer?
Jika domain target terlihat sangat berbeda dari model yang telah dilatih sebelumnya, fitur yang digunakan kembali mungkin tidak dapat ditransfer dengan baik dan akurasi akan menurun.
Mengapa lapisan awal dari jaringan yang telah dilatih sebelumnya sering kali lebih mudah digunakan kembali dibandingkan lapisan berikutnya?
Lapisan awal menangkap pola tingkat rendah yang berguna secara luas, sedangkan lapisan selanjutnya lebih terspesialisasi untuk tugas awal.