SeterusnyaPanduan seterusnya
Format Parquet dan Kolum untuk Data ML
Teknikal
PANDUAN Teknikal
Delta Lake menambah ciri log transaksi dan jadual pada data yang disimpan dalam fail, termasuk transaksi ACID, kawalan skema dan syot kilat versi.
Dengar panduan iniAI-diceritakan · ~3 min
Perjalanan masa boleh menyokong kebolehulangan hanya sementara fail log dan data yang diperlukan kekal disimpan dan sistem storan memenuhi jaminan terdokumentasi Delta; ia tidak dengan sendirinya mengekalkan keseluruhan persekitaran ML.
Rumah tasik menggunakan storan tasik data dengan ciri pengurusan meja. Delta Lake ialah format jadual sumber terbuka yang menyimpan fail data dengan log transaksi yang menerangkan perubahan jadual yang komited. Log menyokong petikan jadual, urus niaga, penguatkuasaan skema dan operasi seperti gabungan dan padam. Ia biasanya digunakan dengan Spark dan juga mempunyai penyambung untuk enjin lain, tertakluk kepada keserasian dan sokongan ciri. Untuk aliran kerja ML, versi jadual Delta boleh mengenal pasti baris yang boleh dilihat pada titik tertentu dalam sejarah jadual. Larian latihan boleh merekodkan laluan dan versi jadual, dan penjejakan percubaan boleh log input set data. Ini membantu memuatkan semula petikan sejarah apabila failnya kekal tersedia. Ia tidak secara automatik menangkap kod prapemprosesan, benih rawak, kebergantungan, konfigurasi model atau sumber data luaran; itu mesti direkodkan secara berasingan. Perjalanan masa dibatasi oleh pengekalan dan pembersihan. Dokumentasi Delta menerangkan bahawa VACUUM mengalih keluar fail data yang tidak dirujuk dan boleh menjadikan versi lama tidak tersedia; pengekalan log transaksi juga boleh dikonfigurasikan. Oleh itu nombor versi bukan jaminan arkib kekal. Pasukan yang memerlukan kebolehulangan jangka panjang memerlukan tetapan pengekalan, sandaran atau eksport tidak berubah yang sesuai dengan dasar mereka. Tingkah laku ACID bergantung pada keupayaan penyimpanan. Dokumentasi Delta menerangkan keterlihatan atom, pengecualian bersama dan andaian penyenaraian yang konsisten serta menggunakan pelaksanaan LogStore jika perlu. Penguatkuasaan skema boleh menolak penulisan yang tidak serasi, manakala evolusi skema ialah tingkah laku yang berbeza dan boleh dikonfigurasikan. Sahkan keserasian enjin dan protokol sebelum bergantung pada ciri. Delta Lake menyediakan alat ketekalan jadual, bukan tadbir urus data ML hujung ke hujung atau sistem kebolehulangan model dengan sendirinya.
Larian MLflow merekodkan sumber dataset Delta dengan versi jadual tertentu untuk input latihan.
Pasukan menyekat VACUUM daripada memadamkan fail yang diperlukan untuk tetingkap audit yang diperlukan.
Seorang penulis menolak lajur baharu sehingga perubahan skema disemak secara eksplisit.
Seorang jurutera ML merekodkan kod prapemprosesan dan benih rawak bersama versi Delta.
Format Lakehouse boleh terus menambah ciri protokol dan sokongan merentas enjin, tetapi keserasian dan pengekalan ciri akan kekal sebagai kebimbangan operasi. Pasukan ML boleh meningkatkan kebolehulangan dengan menggabungkan versi jadual kepada penjejak percubaan dan mengekalkan syot kilat yang tidak boleh diubah untuk kajian terkawal atau berpanjangan. Aliran kerja masa hadapan harus menerangkan apabila versi sejarah tamat tempoh dan mengesahkan bahawa input percubaan yang disimpan masih boleh dibina semula. Katalog sedar versi dan semakan pengekalan automatik mungkin menjadikan kebergantungan ini lebih mudah untuk diurus, tetapi ia tidak menggantikan dasar arkib yang disengajakan dari semasa ke semasa.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Delta Lake menambah ciri log transaksi dan jadual pada data yang disimpan dalam fail, termasuk transaksi ACID, kawalan skema dan syot kilat versi. Perjalanan masa boleh menyokong kebolehulangan hanya sementara fail log dan data yang diperlukan kekal disimpan dan sistem storan memenuhi jaminan terdokumentasi Delta; ia tidak dengan sendirinya mengekalkan keseluruhan persekitaran ML.
Delta menggunakan log transaksinya untuk menerangkan keadaan jadual dan perubahan.
Versi boleh mengenal pasti syot kilat, tertakluk pada pengekalan fail.
Delta docs memberi amaran pembersihan boleh mengalih keluar fail yang diperlukan untuk versi lama.
Jaminan penyimpanan dokumen Delta diperlukan untuk operasi transaksi.
Versi jadual meliputi keadaan jadual, bukan konteks pelaksanaan ML penuh.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Format Parquet dan Kolum untuk Data ML
Teknikal