التاليالدليل التالي
الباركيه والتنسيقات العمودية لبيانات تعلم الآلة
التقنية
الدليل الفني
Lakehouses وDelta Lake لبيانات ML
تضيف Delta Lake سجل المعاملات وميزات الجدول إلى البيانات المخزنة في الملفات، بما في ذلك معاملات ACID وعناصر تحكم المخطط واللقطات ذات الإصدارات.
في هذه الصفحةقراءة لمدة 3 دقائق
نظرة عامة
يمكن أن يدعم السفر عبر الزمن إمكانية التكرار فقط مع الاحتفاظ بالسجل وملفات البيانات المطلوبة ويلبي نظام التخزين ضمانات دلتا الموثقة؛ فهو لا يحافظ في حد ذاته على بيئة تعلم الآلة بأكملها.
الغوص العميق
يستخدم Lakehouse تخزين بحيرة البيانات مع ميزات إدارة الجدول. Delta Lake هو تنسيق جدول مفتوح المصدر يقوم بتخزين ملفات البيانات مع سجل المعاملات الذي يصف تغييرات الجدول الملتزم بها. يدعم السجل لقطات الجدول والمعاملات وفرض المخطط والعمليات مثل الدمج والحذف. يتم استخدامه بشكل شائع مع Spark ويحتوي أيضًا على موصلات للمحركات الأخرى، وفقًا للتوافق ودعم الميزات. بالنسبة لسير عمل تعلم الآلة، يمكن لإصدار جدول دلتا تحديد الصفوف المرئية عند نقطة معينة في سجل الجدول. يمكن أن يسجل تشغيل التدريب مسار الجدول وإصداره، ويمكن لتتبع التجربة تسجيل إدخال مجموعة البيانات. يساعد هذا في إعادة تحميل لقطة تاريخية عندما تظل ملفاتها متاحة. ولا يلتقط تلقائيًا كود المعالجة المسبقة أو البذور العشوائية أو التبعيات أو تكوين النموذج أو مصادر البيانات الخارجية؛ يجب تسجيلها بشكل منفصل. السفر عبر الزمن مقيد بالاحتفاظ والتنظيف. توضح وثائق دلتا أن VACUUM يزيل ملفات البيانات غير المرجعية ويمكن أن يجعل الإصدارات الأقدم غير متاحة؛ كما أن الاحتفاظ بسجل المعاملات قابل للتكوين. ولذلك فإن رقم الإصدار ليس ضمانًا أرشيفيًا دائمًا. تحتاج الفرق التي تتطلب إمكانية التكرار على المدى الطويل إلى إعدادات الاحتفاظ أو النسخ الاحتياطية أو عمليات التصدير غير القابلة للتغيير بما يتناسب مع سياستها. يعتمد سلوك ACID على قدرات التخزين. تصف وثائق دلتا الرؤية الذرية والاستبعاد المتبادل وافتراضات القائمة المتسقة وتستخدم تطبيقات LogStore عند الحاجة. يمكن أن يرفض تطبيق المخطط عمليات الكتابة غير المتوافقة، في حين أن تطور المخطط هو سلوك مميز وقابل للتكوين. التحقق من توافق المحرك والبروتوكول قبل الاعتماد على الميزة. توفر Delta Lake أدوات تناسق الجدول، وليس إدارة بيانات تعلم الآلة من البداية إلى النهاية أو نظام إعادة إنتاج النموذج في حد ذاته.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل البحيرات وبحيرة دلتا لبيانات تعلم الآلة
قد تستمر تنسيقات Lakehouse في إضافة ميزات البروتوكول والدعم عبر المحركات، لكن توافق الميزات والاحتفاظ بها سيظل من الاهتمامات التشغيلية. يمكن لفرق تعلم الآلة تحسين إمكانية التكرار من خلال ربط إصدارات الجدول بأجهزة التتبع التجريبية والحفاظ على لقطات غير قابلة للتغيير للدراسات المنظمة أو طويلة الأمد. يجب أن توضح مسارات العمل المستقبلية متى تنتهي صلاحية الإصدارات التاريخية وتتحقق من أنه لا يزال من الممكن إعادة بناء مدخلات التجربة المحفوظة. قد تجعل الكتالوجات المدركة للإصدار وعمليات التحقق التلقائية من الاحتفاظ هذه التبعيات أسهل في الإدارة، ولكنها لا تحل محل سياسة الأرشفة المتعمدة بمرور الوقت.
التنفيذ في العالم الحقيقي
يقوم تشغيل MLflow بتسجيل مصدر مجموعة بيانات Delta مع إصدار جدول محدد لإدخال التدريب.
يقوم الفريق بحظر VACUUM من حذف الملفات المطلوبة لنافذة التدقيق المطلوبة.
يرفض الكاتب عمودًا جديدًا حتى تتم مراجعة تغيير المخطط بشكل صريح.
يقوم مهندس تعلم الآلة بتسجيل كود المعالجة المسبقة والبذرة العشوائية إلى جانب إصدار دلتا.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lakehouses and Delta Lake for ML Data quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الأسئلة المتداولة
ما هو Lakehouses وDelta Lake لبيانات تعلم الآلة؟
تضيف Delta Lake سجل المعاملات وميزات الجدول إلى البيانات المخزنة في الملفات، بما في ذلك معاملات ACID وعناصر تحكم المخطط واللقطات ذات الإصدارات. يمكن أن يدعم السفر عبر الزمن إمكانية التكرار فقط مع الاحتفاظ بالسجل وملفات البيانات المطلوبة ويلبي نظام التخزين ضمانات دلتا الموثقة؛ فهو لا يحافظ في حد ذاته على بيئة تعلم الآلة بأكملها.
ماذا يسجل سجل معاملات دلتا؟
تستخدم دلتا سجل المعاملات الخاص بها لوصف حالة الجدول وتغييراته.
كيف يمكن لإصدار جدول دلتا أن يساعد في تجربة تعلم الآلة؟
يمكن للإصدار التعرف على اللقطة، مع مراعاة الاحتفاظ بالملف.
ما الذي يمكن أن يجعل إصدار السفر عبر الزمن الأقدم من دلتا غير متاح؟
تحذير مستندات دلتا يمكن أن يؤدي التنظيف إلى إزالة الملفات المطلوبة للإصدارات القديمة.
ما هي افتراضات التخزين التي تدعم ضمانات ACID الخاصة بشركة Delta؟
ضمانات تخزين مستندات دلتا اللازمة لتشغيل المعاملات.
هل يقوم إصدار جدول دلتا تلقائيًا بالتقاط كود المعالجة المسبقة والبذور العشوائية؟
تغطي إصدارات الجدول حالة الجدول، وليس سياق تنفيذ تعلم الآلة الكامل.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع