Penyetelan Hiperparameter
Hyperparameter adalah pengaturan yang Anda pilih sebelum pelatihan, seperti kecepatan pembelajaran atau ukuran model, yang tidak dipelajari sendiri oleh model.
Ikhtisar
Tuning them well is often the difference between a mediocre model and a great one.
Menyelam Lebih Dalam
Parameter model (bobot) dipelajari dari data selama pelatihan. Hyperparameter berbeda: ini adalah tombol yang Anda atur sebelumnya yang mengatur bagaimana pembelajaran terjadi, seperti kecepatan pembelajaran, ukuran batch, jumlah lapisan, kekuatan regularisasi, dan berapa lama pelatihan. Nilai tersebut tidak dapat dioptimalkan dengan penurunan gradien secara langsung, jadi Anda mencari nilai yang baik dengan melatih banyak model kandidat dan membandingkannya pada set validasi. Pendekatan paling sederhana adalah pencarian grid, mencoba setiap kombinasi pada grid yang telah ditentukan, tetapi skalanya sangat buruk. Pencarian acak sering kali menemukan pengaturan yang baik lebih cepat dengan mengambil sampel kombinasi. Pengoptimalan Bayesian yang lebih canggih akan membangun model probabilistik yang pengaturannya tampak menjanjikan dan memfokuskan pencarian di sana. Kecepatan pembelajaran biasanya merupakan satu-satunya hyperparameter yang paling berpengaruh untuk dilakukan dengan benar.
Wawasan Teknis
Karena hyperparameter mengontrol proses pelatihan dan bukan disesuaikan olehnya, Anda memperlakukan penyetelan sebagai putaran pengoptimalan luar yang membungkus pelatihan. Setiap uji coba melatih model dengan satu konfigurasi dan menilai model tersebut berdasarkan data validasi yang tersedia. Metode Bayesian, seperti metode yang menggunakan proses Gaussian atau Estimator Parzen Terstruktur Pohon, memodelkan hubungan antara konfigurasi dan skor validasi, lalu memilih uji coba berikutnya untuk menyeimbangkan eksplorasi wilayah yang tidak pasti dan mengeksploitasi wilayah yang sudah diketahui bagus. Skema penghentian awal seperti Hyperband menghentikan uji coba yang berkinerja buruk lebih awal agar komputasi dapat digunakan pada hal yang penting. Yang terpenting, set pengujian akhir harus tetap tidak tersentuh selama penyetelan untuk menghindari kebocoran informasi.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Penyetelan Hyperparameter
Penyetelan manual dan berbasis grid memberi jalan bagi pembelajaran mesin otomatis (AutoML) dan penelusuran yang lebih cerdas seperti pengoptimalan Bayesian dan Hyperband, yang menggunakan komputasi jauh lebih efisien. Seiring berkembangnya model dasar, pelatihan ulang penuh per uji coba menjadi sangat mahal, sehingga perhatian beralih ke proxy yang lebih murah, menskalakan undang-undang yang memprediksi pengaturan yang baik dari proses kecil, dan menyesuaikan adaptor ringan dibandingkan model keseluruhan. Harapkan penyesuaian menjadi semakin otomatis dan sadar anggaran, dengan alat yang secara eksplisit memperdagangkan biaya pencarian dengan keuntungan yang diharapkan.
Implementasi Dunia Nyata
Menyapu kecepatan pembelajaran di beberapa kali lipat untuk menemukan nilai saat jaringan berlatih dengan cepat tanpa menyimpang.
Menggunakan pencarian acak untuk menyesuaikan kedalaman pohon, jumlah pohon, dan kecepatan pembelajaran untuk model peningkatan gradien pada data tabular.
Menjalankan optimasi Bayesian untuk bersama-sama menyesuaikan kekuatan regularisasi dan ukuran batch untuk jaringan dalam dengan anggaran GPU yang terbatas.
Menerapkan Hyperband untuk melatih lusinan konfigurasi secara singkat, lalu memberikan lebih banyak epoch hanya kepada penyintas yang paling menjanjikan.
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Hyperparameter Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Penyempurnaan
Pertanyaan yang sering diajukan
What is Hyperparameter Tuning?
Hyperparameter adalah pengaturan yang Anda pilih sebelum pelatihan, seperti kecepatan pembelajaran atau ukuran model, yang tidak dipelajari sendiri oleh model. Menyetelnya dengan baik sering kali menjadi pembeda antara model yang biasa-biasa saja dan model yang bagus.
Apa yang membedakan hyperparameter dari parameter model biasa?
Bobot (parameter) dipelajari dari data selama pelatihan. Hyperparameter, seperti kecepatan pembelajaran atau jumlah lapisan, dipilih sebelumnya dan mengontrol bagaimana pelatihan berlangsung.
Hyperparameter mana yang umumnya dianggap sebagai satu-satunya hyperparameter yang paling berdampak untuk diterapkan dalam pembelajaran mendalam?
Kecepatan pemelajaran sangat memengaruhi apakah dan seberapa cepat suatu model menyatu. Terlalu tinggi dan pelatihan menyimpang; terlalu rendah dan merangkak atau macet.
Mengapa pencarian acak sering kali mengungguli pencarian grid untuk penyetelan hyperparameter?
Pencarian grid menyia-nyiakan percobaan pada dimensi yang tidak penting. Pencarian acak menjelajahi ruang dengan lebih efisien dan sering kali mencapai konfigurasi yang baik dengan lebih sedikit percobaan.
Bagaimana optimasi Bayesian memilih konfigurasi hyperparameter mana yang akan dicoba selanjutnya?
Pengoptimalan Bayesian memodelkan hubungan antara konfigurasi dan skor validasi, lalu memilih uji coba berikutnya untuk menyeimbangkan eksplorasi wilayah yang tidak pasti dengan eksploitasi wilayah yang menjanjikan.
Mengapa set pengujian akhir harus tetap tidak tersentuh selama penyetelan hyperparameter?
Penyetelan memilih pengaturan yang paling sesuai dengan data apa pun yang Anda evaluasi. Jika itu adalah set pengujian, performa yang Anda laporkan akan meningkat. Penyetelan menggunakan set validasi terpisah.