Penghalusan Label
Perataan label adalah trik regularisasi sederhana yang memperhalus target pelatihan one-hot yang sulit, memberi tahu model bahwa jawaban yang benar sangat mungkin terjadi tetapi tidak 100 persen pasti.
Ikhtisar
It improves calibration and generalization across image and language models with almost no extra cost.
Menyelam Lebih Dalam
Biasanya pengklasifikasi dilatih pada label one-hot: kelas sebenarnya mendapat target 1,0 dan yang lainnya 0,0. Dikombinasikan dengan cross-entropy dan softmax, hal ini mendorong model untuk membuat logit yang benar jauh lebih besar daripada logit lainnya, sehingga mendorong rasa percaya diri dan overfitting yang berlebihan. Penghalusan label menggantikan target dengan (1 - epsilon) untuk kelas sebenarnya dan epsilon/(K-1) tersebar di kelas K lainnya, dengan epsilon kecil (biasanya 0,1). Model ini sekarang bertujuan untuk melakukan distribusi yang percaya diri namun tidak absolut. Diperkenalkan pada karya Inception-v3 2016 dan kemudian dianalisis oleh kelompok Hinton, ini meningkatkan akurasi ImageNet dan merupakan standar di Transformers, di mana kertas Attention Is All You Need asli menggunakan epsilon 0,1.
Wawasan Teknis
Dengan label keras, meminimalkan entropi silang akan mendorong logit yang benar menuju tak terhingga positif dibandingkan logit lainnya, yang tidak dapat dicapai dan mendorong bobot ke ekstrem. Pemulusan menetapkan kesenjangan optimal yang terbatas antara logit yang benar dan logit lainnya, sehingga logit tetap dibatasi dan model tidak lagi yakin secara maksimal. Studi menunjukkan hal ini memperketat cluster kelas yang sama dan menghasilkan probabilitas yang terkalibrasi lebih baik, kepercayaan yang diprediksi sesuai dengan akurasi sebenarnya. Kerugiannya: hal ini dapat menghapus informasi kesamaan antar kelas yang sangat detail, yang terkadang mengganggu penyulingan pengetahuan di mana hubungan lunak tersebut penting.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Penghalusan Label
Penghalusan label tetap menjadi default dalam pelatihan skala besar, namun penelitian bergerak menuju pemulusan adaptif dan pembelajaran yang menyesuaikan epsilon per contoh atau kelas daripada menggunakan satu nilai tetap. Metode yang berfokus pada kalibrasi seperti kehilangan fokus dan penskalaan suhu sering kali ditimbang atau digabungkan dengannya. Seiring dengan berkembangnya model dan perkiraan ketidakpastian yang dapat diandalkan menjadi hal yang sangat penting dalam hal keselamatan, penghalusan diharapkan menjadi salah satu alat untuk menghasilkan skor keyakinan yang dapat dipercaya, dengan memperhatikan konflik yang diketahui dengan distilasi.
Implementasi Dunia Nyata
Klasifikasi ImageNet: Inception-v3 menggunakan penghalusan label (epsilon 0,1) untuk meningkatkan akurasi 1 teratas dan mengurangi kepercayaan berlebih.
Terjemahan mesin: Transformer asli menerapkan penghalusan label sebesar 0,1, menukar sedikit kebingungan dengan skor BLEU yang lebih tinggi.
Pengenalan ucapan: target yang diperhalus mengurangi kesalahan pengenalan yang berlebihan dan meningkatkan kalibrasi pada audio yang bising.
Model pencitraan medis: penghalusan menghasilkan probabilitas yang terkalibrasi lebih baik, penting ketika skor kepercayaan menginformasikan keputusan klinis.
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Label Smoothing membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pengelompokan K-Means
Pertanyaan yang sering diajukan
What is Label Smoothing?
Perataan label adalah trik regularisasi sederhana yang memperhalus target pelatihan one-hot yang sulit, memberi tahu model bahwa jawaban yang benar sangat mungkin terjadi tetapi tidak 100 persen pasti. Ini meningkatkan kalibrasi dan generalisasi di seluruh model gambar dan bahasa hampir tanpa biaya tambahan.
Apa perubahan perataan label pada target pelatihan?
Alih-alih target keras 1.0/0.0, pemulusan label menetapkan (1 - epsilon) ke kelas sebenarnya dan menyebarkan epsilon ke kelas lainnya.
Masalah apa dengan label hard one-hot yang dapat diatasi dengan penghalusan?
Meminimalkan entropi silang pada target one-hot akan mendorong logit yang benar menuju tak terhingga dibandingkan dengan target lainnya, sehingga mendorong rasa terlalu percaya diri dan overfitting.
Arsitektur penting manakah yang membantu mempopulerkan perataan label?
Penghalusan label diperkenalkan pada makalah Inception-v3 2016 dan diadopsi oleh Transformer (Attention Is All You Need) dengan epsilon 0.1.
Selain akurasi, apa manfaat penghalusan label?
Pemulusan meningkatkan kalibrasi, keyakinan yang diprediksi semakin selaras dengan kemungkinan kebenaran yang sebenarnya.
Apa kelemahan perataan label yang terdokumentasi?
Dengan memperketat cluster dan meratakan hubungan lunak antar kelas, pemulusan dapat menghilangkan informasi yang diandalkan dalam penyulingan pengetahuan.