Overfitting dan Underfitting
Overfitting terjadi ketika model mengingat data pelatihannya dan gagal dalam contoh baru; underfitting adalah ketika terlalu sederhana untuk menangkap pola sebenarnya.
Ikhtisar
Hitting the sweet spot between them is the central challenge of machine learning.
Menyelam Lebih Dalam
Setiap model cocok dengan set pelatihan yang terbatas, namun tujuannya adalah untuk bekerja dengan baik pada data yang tidak terlihat. Model overfit memperlakukan kebisingan dan keunikan set pelatihan seolah-olah itu adalah sinyal nyata: model tersebut mungkin mendapat skor 99% pada data pelatihan namun turun menjadi 70% pada set pengujian. Model underfit adalah masalah sebaliknya, terlalu kaku untuk menangkap struktur yang mendasarinya, sehingga tidak memberikan hasil yang baik pada data pelatihan dan pengujian. Kesenjangan antara kinerja pelatihan dan tes adalah tandanya. Underfitting menunjukkan kesalahan yang tinggi di mana-mana (bias tinggi); overfitting ditampilkan sebagai kesalahan pelatihan yang rendah tetapi kesalahan pengujian yang tinggi (varians tinggi). Keterampilannya adalah mengenali masalah apa yang Anda hadapi, karena perbaikannya mengarah ke arah yang berlawanan.
Wawasan Teknis
Overfitting dan underfitting adalah dua ujung dari tradeoff bias-varians. Bias adalah kesalahan akibat asumsi yang terlalu disederhanakan; varians adalah kesalahan karena terlalu sensitif terhadap sampel pelatihan tertentu. Model linier kecil memiliki bias tinggi dan varians rendah (underfits); model besar yang tidak dibatasi memiliki bias rendah dan varian tinggi (overfit). Total kesalahan yang diharapkan secara kasar terurai sebagai bias-kuadrat ditambah varians ditambah kebisingan yang tidak dapat direduksi. Praktisi mendeteksi masalah dengan membandingkan akurasi set pelatihan dengan set validasi yang sudah ada, mengamati perbedaan kedua kurva.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Overfitting dan Underfitting
Konsep-konsep ini tetap mendasar, tetapi jaringan saraf yang sangat besar telah memperumit gambaran klasiknya. Model modern dapat memiliki lebih banyak parameter daripada titik data namun tetap dapat digeneralisasi dengan baik, suatu rezim mengejutkan yang kadang-kadang disebut 'penurunan ganda' di mana kesalahan pengujian turun lagi setelah puncak overfitting. Penelitian semakin berfokus pada mengapa model dengan parameter berlebihan dapat digeneralisasi, peran regularisasi implisit dalam pengoptimal, dan deteksi pergeseran distribusi yang lebih otomatis. Harapkan diagnostik yang lebih kaya yang menandai overfitting dalam produksi saat data dunia nyata menjauh dari data pelatihan.
Implementasi Dunia Nyata
Filter spam yang menandai setiap email yang berisi nama pengirim tertentu karena pengirim tersebut sering melakukan spam dalam data pelatihan, sehingga tidak ada pengirim spam baru sepenuhnya (overfitting).
Model harga rumah hanya menggunakan luas persegi dan mengabaikan lokasi, kamar tidur, dan kondisi, sehingga sangat meleset di lingkungan yang mahal (underfitting).
Pengklasifikasi gambar medis yang belajar mendeteksi tanda air pemindai rumah sakit alih-alih penyakitnya, dan gagal di rumah sakit lain (overfitting ke fitur palsu).
Merencanakan kerugian pelatihan versus kerugian validasi selama pelatihan dan berhenti ketika kerugian validasi mulai meningkat sementara kerugian pelatihan terus menurun (menangkap overfitting lebih awal).
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Overfitting dan Underfitting membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Propagasi mundur
Pertanyaan yang sering diajukan
What is Overfitting and Underfitting?
Overfitting terjadi ketika model mengingat data pelatihannya dan gagal dalam contoh baru; underfitting adalah ketika terlalu sederhana untuk menangkap pola sebenarnya. Mencapai titik terbaik di antara keduanya adalah tantangan utama pembelajaran mesin.
Sebuah model mendapat skor 98% pada data pelatihannya, tetapi hanya 71% pada set pengujian yang diadakan. Masalah apa yang paling mungkin terjadi?
Kesenjangan besar di mana akurasi pelatihan tinggi tetapi akurasi pengujian jauh lebih rendah adalah ciri khas overfitting: model menyesuaikan noise dalam data pelatihan, bukan pola umum.
Skenario manakah yang paling tepat menggambarkan underfitting?
Model pakaian dalam terlalu sederhana untuk menangkap pola yang mendasarinya, sehingga kinerjanya buruk di mana pun, termasuk pada data tempat model tersebut dilatih.
Dalam tradeoff bias-varians, varians tinggi paling terkait dengan hasil yang mana?
Varians yang tinggi berarti model banyak berubah bergantung pada data pelatihan yang dilihatnya, yang menyebabkan overfitting. Bias tinggi adalah kebalikannya, tujuan yang terlalu disederhanakan.
Model gagal bayar pinjaman hanya menggunakan usia pemohon dan mengabaikan pendapatan, utang, dan riwayat kredit. Performanya buruk pada pelatihan dan data baru. Apa yang harus kamu lakukan?
Performa buruk di mana pun menandakan adanya kekurangan dalam kinerja. Cara mengatasinya adalah dengan meningkatkan kapasitas model, sering kali dengan menambahkan fitur informatif, sehingga dapat mewakili hubungan sebenarnya.
Mengapa validasi atau rangkaian pengujian yang dilakukan penting untuk mendeteksi overfitting?
Overfitting tidak terlihat jika Anda hanya melihat akurasi latihan. Mengevaluasi data yang tidak terlihat memperlihatkan kesenjangan antara menghafal dan generalisasi yang sebenarnya.