PANDUAN Teknikal

Pengesahan Silang Bersarang

Pengesahan silang bersarang menggunakan gelung dalam untuk memilih tetapan model dan gelung luar untuk menilai prosedur pemilihan yang terhasil pada data yang ditahan.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Pengesahan Silang Bersarang
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia mengurangkan penilaian optimistik yang boleh timbul apabila skor pengesahan yang sama digunakan untuk memilih tetapan dan untuk menuntut prestasi.

Menyelam dalam

Mencari banyak tetapan model itu sendiri adalah satu bentuk pembelajaran daripada data. Walaupun setiap calon menggunakan pengesahan silang, memilih calon dengan skor terbaik mengutamakan tetapan yang mendapat manfaat daripada variasi rawak dalam lipatan pengesahan tersebut. Oleh itu, melaporkan bahawa skor kemenangan sebagai anggaran prestasi baharu boleh menjadi optimistik. Pengesahan silang bersarang memisahkan pemilihan daripada penilaian. Mulakan dengan belahan luar. Ketepikan lipatan ujiannya dan jalankan keseluruhan carian menggunakan hanya data latihan luar. Pengesahan silang dalaman membandingkan tetapan calon. Pasang semula konfigurasi yang dipilih pada data latihan luar, nilaikannya sekali pada lipatan ujian luar, dan ulangi proses ini untuk lipatan luar yang lain. Skor luar menilai prosedur: keluarga model, ruang carian, prapemprosesan dan peraturan pemilihan yang digunakan bersama. Lipatan luar yang berbeza boleh memilih tetapan yang berbeza. Itu dijangka, kerana data latihan mereka berbeza. Hasilnya bukanlah persaingan di mana anda hanya menggunakan mana-mana model lipatan luar yang mencapai skor ujian tertinggi. Prapemprosesan tergolong dalam prosedur. Pemilih skala, imputer atau ciri yang dipasang pada semua contoh sebelum pemisahan boleh membocorkan maklumat. Scikit-learn's Pipeline membantu memastikan operasi ini dilampirkan pada pemasangan model, manakala GridSearchCV boleh melakukan carian dalaman. Strategi perpecahan juga mesti sepadan dengan penggunaan yang dimaksudkan. Rekod berulang daripada seorang pelanggan mungkin memerlukan pengasingan kumpulan. Peramalan memerlukan penghormatan terhadap susunan masa. Bersarang pemisahan rawak yang tidak sesuai tidak membaiki masalah reka bentuk itu. Selepas menilai prosedur tetap, lakukan langkah pemilihannya pada data pembangunan yang tersedia dan muatkan model akhir. Simpan set ujian berasingan jika projek menggunakan satu. Mengubah prosedur berulang kali selepas memeriksa skor luar boleh menukar penilaian luar kepada proses penalaan lain.

Pelaksanaan Dunia Sebenar

Seorang penyelidik membandingkan beberapa kekuatan regularisasi dalam setiap pembahagian latihan luar. Hanya model yang dipilih dinilai pada lipatan ujian luar belahan itu.

Carian hipotetikal menggunakan lima lipatan luar, tiga lipatan dalam dan sepuluh tetapan calon. Ia melakukan 150 padanan calon dalam, ditambah lima pasang semula jika model yang dipilih dipasang semula sekali setiap lipatan luar.

Model menggunakan berbilang rekod daripada setiap pelanggan. Pasukan ini memastikan pelanggan diasingkan merentasi kedua-dua belahan dalam dan luar apabila mereka ingin menganggarkan prestasi pada pelanggan yang tidak kelihatan.

Seorang penganalisis meletakkan Pipeline pembelajaran scikit di dalam GridSearchCV dan menilai carian tersebut dengan rutin pengesahan silang luar. Prapemprosesan dipelajari dalam lipatan latihan yang berkaitan.

Masa Depan Pengesahan Silang Bersarang

Apabila carian model automatik menjadi lebih mudah untuk dilancarkan, sistem penilaian harus menjadikan sempadan antara penalaan dan ujian kelihatan. Laporan berguna merekodkan keseluruhan resipi pemilihan dan data yang dibenarkan untuk diperiksa. Pasukan kemudiannya boleh membandingkan penambahbaikan kepada prosedur beku dan bukannya mengoptimumkan berulang kali terhadap maklum balas ujian yang sama. Had pengiraan akan tetap penting, terutamanya untuk model mahal. Tanggapan yang sesuai ialah memilih reka bentuk penilaian yang sesuai dengan projek dan mendokumenkan hadnya, dan bukannya menganggap lapisan tambahan pengesahan silang sebagai keperluan universal.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Pengesahan Silang Bersarang

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Pengesahan Silang Bersarang?

Pengesahan silang bersarang menggunakan gelung dalam untuk memilih tetapan model dan gelung luar untuk menilai prosedur pemilihan yang terhasil pada data yang ditahan. Ia mengurangkan penilaian optimistik yang boleh timbul apabila skor pengesahan yang sama digunakan untuk memilih tetapan dan untuk menuntut prestasi.

Dalam satu belahan luar, data manakah yang boleh digunakan oleh carian hiperparameter dalam?

Lipatan ujian luar mesti kekal di luar proses pemilihan supaya ia boleh menilai prosedur pada data yang ditahan.

Mengapakah melaporkan skor pengesahan dalaman yang terbaik boleh melebihkan prestasi model?

Pemilihan menggunakan keputusan pengesahan, jadi skor kemenangan bukanlah penilaian bebas bagi proses pemilihan tersebut.

Lima lipatan luar, tiga lipatan dalam dan sepuluh tetapan calon memerlukan berapa banyak calon dalam yang sesuai dengan contoh panduan?

Darabkan lipatan luar, lipatan dalam dan calon: lima kali tiga kali sepuluh sama dengan 150.

Penskala dipasang pada set data penuh sebelum pengesahan silang bersarang bermula. Masalah manakah yang kekal?

Bersarang tidak membatalkan kebocoran maklumat yang diperkenalkan sebelum berpecah. Prapemprosesan mesti dipasang dalam lipatan latihan yang berkaitan.

Lipatan luar yang berbeza memilih hiperparameter yang berbeza. Bagaimanakah ini harus ditafsirkan?

Gelung luar menilai prosedur pemilihan, yang tetapan pilihannya mungkin berbeza dengan sampel latihannya.