SeterusnyaPanduan seterusnya
Pembelajaran Peka Kos
Teknikal
PANDUAN Teknikal
Dimensi VC mengukur kapasiti kelas hipotesis binari dengan menanyakan berapa banyak titik yang boleh ia pecahkan, iaitu memberi label dalam setiap cara yang mungkin.
Dengar panduan iniAI-diceritakan · ~3 min
Dalam teori PAC klasik ia membantu menaklim berapa banyak contoh yang diperlukan untuk ketepatan dan keyakinan tertentu, menghubungkan fleksibiliti model dengan jaminan generalisasi terburuk.
VC dimension measures the capacity of a hypothesis class: how many different labeling patterns it can produce on a set of points. A class shatters a set of n points if, for every one of the 2^n possible ways to assign positive or negative labels to those points, some hypothesis in the class reproduces that exact labeling. The VC dimension is the largest n for which some set of n points can be shattered. Linear classifiers in 2D can shatter any 3 points in general position but cannot shatter every configuration of 4 points, so their VC dimension is 3. PAC learning builds on this: it asks how many training examples are needed so that, with probability at least 1-delta, a learned hypothesis has error at most epsilon above the best hypothesis in the class. In an agnostic PAC setting, a representative worst-case sample-complexity bound has a term proportional to VC dimension divided by epsilon squared, along with confidence and sometimes logarithmic terms. Realizable PAC settings have different epsilon dependence, so the formula depends on the learning assumptions. This formalizes the tradeoff between model flexibility and data requirements: a class that can represent almost any labeling needs much more data before its empirical performance reliably predicts its true performance. A common misconception is that VC dimension is just the number of parameters in a model; it is not. Some infinite-parameter classes have finite VC dimension, and some models with few parameters can have surprisingly high VC dimension. VC theory is also a worst-case, distribution-free bound, so real-world performance is often far better than these bounds suggest, especially for modern over-parameterized models like deep neural networks.
Satu kelas penentu linear dalam 2D (garis lurus) mempunyai dimensi VC 3, kerana tiga titik yang tidak berada dalam satu garis boleh diberi label dalam semua 8 cara yang mungkin oleh sesetengah garis, tetapi empat titik tidak selalu dapat dipecahkan dengan cara ini.
Penentu ambang tunggal pada garis nyata (meramalkan positif jika x > t) mempunyai dimensi VC 1, kerana ia dapat memecahkan satu titik tetapi tidak dua titik secara sembarang.
Had PAC digunakan untuk membenarkan mengapa mesin vektor sokongan dengan margin lebar (kekerapan lebih rendah) dapat menggeneralisasi dengan baik daripada contoh yang berlabel sedikit berbanding penentu fleksibel yang tidak terhad.
Rangkaian neural dalam mempunyai dimensi VC yang sangat besar dalam teori, selalunya melebihi bilangan contoh latihan, yang merupakan sebahagian sebab mengapa batas PAC klasik sahaja gagal menjelaskan generalisasi yang diperhatikan.
Dimensi VC klasik dan had PAC tetap asas untuk memahami pertukaran kapasiti‑berbanding data, tetapi ia diketahui terlalu pesimis bagi model pembelajaran mendalam moden, di mana kiraan parameter yang sangat besar menunjukkan dimensi VC jauh melebihi saiz set latihan praktikal walaupun model-model ini dapat generalisasi dengan baik dalam amalan. Jurang ini telah mendorong penyelidikan ke arah ukuran kompleksiti alternatif, seperti had berasaskan margin, kompleksiti Rademacher, dan had berasaskan norma, yang cuba menjelaskan generalisasi dalam rejim berparameter berlebihan. Teori VC sendiri sudah ditetapkan secara matematik; kerja berterusan adalah mencari rangka kerja tambahan yang lebih sesuai daripada mengubah definisi dimensi VC.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Dimensi VC mengukur kapasiti kelas hipotesis binari dengan menanyakan berapa banyak titik yang boleh ia pecah, iaitu memberi label dalam setiap cara yang mungkin. Dalam teori PAC klasik ia membantu menetapkan berapa banyak contoh yang diperlukan untuk ketepatan dan keyakinan tertentu, menghubungkan fleksibiliti model dengan jaminan generalisasi terburuk.
Pecah bermaksud setiap penetapan label yang mungkin bagi set titik tersebut dapat dicapai oleh sesebuah hipotesis dalam kelas, bukan sekadar klasifikasi yang betul bagi satu penetapan label tetap.
Panduan menyatakan bahawa garis dalam 2D dapat memecahkan sebarang 3 titik dalam kedudukan umum tetapi tidak setiap konfigurasi 4 titik, memberikan dimensi VC sebanyak 3.
Batas kompleksiti sampel klasik PAC berskala kira-kira dengan dimensi VC dibahagi dengan epsilon kuasa dua, jadi kelas berkapasiti lebih tinggi memerlukan lebih banyak data secara proporsional untuk jaminan yang sama.
Dimensi VC berkaitan dengan label yang dapat dicapai oleh kelas, bukan bilangan parameter; pengklasifikasi ambang dapat memecahkan satu titik tetapi tidak dapat mencapai setiap label bagi dua titik sewenang-wenangnya, memberikan dimensi VC 1.
Panduan secara jelas menyebut ini sebagai salah faham, menekankan bahawa bilangan parameter dan dimensi VC boleh berbeza secara ketara bergantung pada bagaimana parameter berinteraksi dengan ruang input.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pembelajaran Peka Kos
Teknikal