PANDUAN Teknikal

Lakehouses dan Delta Lake untuk Data ML

Delta Lake menambah ciri log transaksi dan jadual pada data yang disimpan dalam fail, termasuk transaksi ACID, kawalan skema dan syot kilat versi.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Lakehouses dan Delta Lake untuk Data ML
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Perjalanan masa boleh menyokong kebolehulangan hanya sementara fail log dan data yang diperlukan kekal disimpan dan sistem storan memenuhi jaminan terdokumentasi Delta; ia tidak dengan sendirinya mengekalkan keseluruhan persekitaran ML.

Menyelam dalam

Rumah tasik menggunakan storan tasik data dengan ciri pengurusan meja. Delta Lake ialah format jadual sumber terbuka yang menyimpan fail data dengan log transaksi yang menerangkan perubahan jadual yang komited. Log menyokong petikan jadual, urus niaga, penguatkuasaan skema dan operasi seperti gabungan dan padam. Ia biasanya digunakan dengan Spark dan juga mempunyai penyambung untuk enjin lain, tertakluk kepada keserasian dan sokongan ciri. Untuk aliran kerja ML, versi jadual Delta boleh mengenal pasti baris yang boleh dilihat pada titik tertentu dalam sejarah jadual. Larian latihan boleh merekodkan laluan dan versi jadual, dan penjejakan percubaan boleh log input set data. Ini membantu memuatkan semula petikan sejarah apabila failnya kekal tersedia. Ia tidak secara automatik menangkap kod prapemprosesan, benih rawak, kebergantungan, konfigurasi model atau sumber data luaran; itu mesti direkodkan secara berasingan. Perjalanan masa dibatasi oleh pengekalan dan pembersihan. Dokumentasi Delta menerangkan bahawa VACUUM mengalih keluar fail data yang tidak dirujuk dan boleh menjadikan versi lama tidak tersedia; pengekalan log transaksi juga boleh dikonfigurasikan. Oleh itu nombor versi bukan jaminan arkib kekal. Pasukan yang memerlukan kebolehulangan jangka panjang memerlukan tetapan pengekalan, sandaran atau eksport tidak berubah yang sesuai dengan dasar mereka. Tingkah laku ACID bergantung pada keupayaan penyimpanan. Dokumentasi Delta menerangkan keterlihatan atom, pengecualian bersama dan andaian penyenaraian yang konsisten serta menggunakan pelaksanaan LogStore jika perlu. Penguatkuasaan skema boleh menolak penulisan yang tidak serasi, manakala evolusi skema ialah tingkah laku yang berbeza dan boleh dikonfigurasikan. Sahkan keserasian enjin dan protokol sebelum bergantung pada ciri. Delta Lake menyediakan alat ketekalan jadual, bukan tadbir urus data ML hujung ke hujung atau sistem kebolehulangan model dengan sendirinya.

Pelaksanaan Dunia Sebenar

Larian MLflow merekodkan sumber dataset Delta dengan versi jadual tertentu untuk input latihan.

Pasukan menyekat VACUUM daripada memadamkan fail yang diperlukan untuk tetingkap audit yang diperlukan.

Seorang penulis menolak lajur baharu sehingga perubahan skema disemak secara eksplisit.

Seorang jurutera ML merekodkan kod prapemprosesan dan benih rawak bersama versi Delta.

Masa Depan Lakehouses dan Delta Lake untuk Data ML

Format Lakehouse boleh terus menambah ciri protokol dan sokongan merentas enjin, tetapi keserasian dan pengekalan ciri akan kekal sebagai kebimbangan operasi. Pasukan ML boleh meningkatkan kebolehulangan dengan menggabungkan versi jadual kepada penjejak percubaan dan mengekalkan syot kilat yang tidak boleh diubah untuk kajian terkawal atau berpanjangan. Aliran kerja masa hadapan harus menerangkan apabila versi sejarah tamat tempoh dan mengesahkan bahawa input percubaan yang disimpan masih boleh dibina semula. Katalog sedar versi dan semakan pengekalan automatik mungkin menjadikan kebergantungan ini lebih mudah untuk diurus, tetapi ia tidak menggantikan dasar arkib yang disengajakan dari semasa ke semasa.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ikuti kuiz Lakehouses dan Delta Lake untuk ML Data

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Lakehouses dan Delta Lake untuk Data ML?

Delta Lake menambah ciri log transaksi dan jadual pada data yang disimpan dalam fail, termasuk transaksi ACID, kawalan skema dan syot kilat versi. Perjalanan masa boleh menyokong kebolehulangan hanya sementara fail log dan data yang diperlukan kekal disimpan dan sistem storan memenuhi jaminan terdokumentasi Delta; ia tidak dengan sendirinya mengekalkan keseluruhan persekitaran ML.

Apakah rekod log transaksi Delta?

Delta menggunakan log transaksinya untuk menerangkan keadaan jadual dan perubahan.

Bagaimanakah versi jadual Delta boleh membantu percubaan ML?

Versi boleh mengenal pasti syot kilat, tertakluk pada pengekalan fail.

Apakah yang boleh menyebabkan versi perjalanan masa Delta yang lebih lama tidak tersedia?

Delta docs memberi amaran pembersihan boleh mengalih keluar fail yang diperlukan untuk versi lama.

Apakah andaian storan yang menyokong jaminan ACID Delta?

Jaminan penyimpanan dokumen Delta diperlukan untuk operasi transaksi.

Adakah versi jadual Delta secara automatik menangkap kod prapemprosesan dan benih rawak?

Versi jadual meliputi keadaan jadual, bukan konteks pelaksanaan ML penuh.