تخفيض الأبعاد
يؤدي تقليل الأبعاد إلى تقليص البيانات من العديد من الأعمدة (الميزات) إلى عدد قليل منها مع الحفاظ على البنية المهمة.
نظرة عامة
It fights the 'curse of dimensionality,' speeds up models, and lets you actually visualize complex data in 2D or 3D.
الغوص العميق
غالبًا ما تحتوي مجموعات البيانات الحقيقية على مئات أو آلاف الميزات: كل بكسل في الصورة، وكل كلمة في المفردات، وكل مستشعر على الجهاز. في مثل هذه المساحات عالية الأبعاد، تصبح نقاط البيانات متناثرة ومتباعدة، وتصبح قياسات المسافة غير موثوقة، وتميل النماذج إلى تجاوز الضوضاء. هذه هي لعنة الأبعاد. يقوم تقليل الأبعاد بتخطيط البيانات إلى أبعاد أقل بكثير مع الحفاظ على العلاقات ذات المعنى. يقوم PCA بذلك خطيًا من خلال إيجاد اتجاهات التباين الأكبر. t-SNE وUMAP غير خطيين ويتفوقان في الكشف عن المجموعات للتصور. يؤدي تقليل الأبعاد إلى إزالة الميزات الزائدة أو المزعجة، ويخفض الذاكرة والحساب، ويحسن في كثير من الأحيان دقة النموذج النهائي نظرًا لوجود إشارة أقل أهمية لإرباكه.
البصيرة الفنية
يعمل PCA عن طريق حساب التباين المشترك للميزات وإيجاد المتجهات الذاتية، "المكونات الرئيسية"، التي تشير إلى اتجاهات الحد الأقصى من التباين. يمكنك الاحتفاظ بالمكونات القليلة الأولى وبيانات المشروع عليها، مع تجاهل الاتجاهات ذات التباين المنخفض والتي تكون في الغالب ضوضاء. بدلاً من ذلك، يقوم كل من t-SNE وUMAP بنموذج علاقات الجوار: فهم يحاولون الاحتفاظ بالنقاط التي كانت قريبة في الأبعاد العالية قريبة من الخريطة منخفضة الأبعاد. يقوم UMAP ببناء رسم بياني للنقاط القريبة، مما يجعله أسرع من t-SNE وأفضل في الحفاظ على البنية العالمية الأوسع.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل تخفيض الأبعاد
أصبح تقليل الأبعاد الآن خطوة روتينية داخل مسارات الذكاء الاصطناعي الأكبر حجمًا بدلاً من مهمة مستقلة. لقد أصبح UMAP إلى حد كبير هو الخيار الافتراضي لاستكشاف عمليات التضمين من نماذج اللغة والرؤية الكبيرة، حيث يقوم المهندسون بإسقاط آلاف الأبعاد في خريطة ثنائية الأبعاد لفحص ما تعلمه النموذج. توقع تكاملًا أكثر إحكامًا مع لوحات المعلومات التفاعلية، وعمليات تنفيذ أسرع بواسطة وحدة معالجة الرسومات لمجموعات البيانات المكونة من مليار صف، والاستخدام المتزايد في أعمال قابلية التفسير، حيث يقلل الباحثون من عمليات التنشيط الداخلية للنموذج لفهم سلوكه وتصحيح أخطائه.
التنفيذ في العالم الحقيقي
رسم تضمينات الكلمات أو الجمل من نموذج لغة ثنائي الأبعاد باستخدام UMAP لمعرفة المفاهيم التي يجمعها النموذج معًا
ضغط الآلاف من قياسات التعبير الجيني لكل مريض في عدد قليل من المكونات قبل تجميع الأنواع الفرعية للمرض
تقليل ميزات الصورة قبل تقديمها إلى أحد المصنفين، بحيث يكون التدريب أسرع وأقل عرضة للتركيب الزائد
تصور سلوك العملاء عبر مئات المقاييس كمخطط متناثر ثنائي الأبعاد لتحديد قطاعات السوق المتميزة
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث يساعد تقليل الأبعاد وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dimensionality Reduction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
توائم بارلو والحد من التكرار
الأسئلة المتداولة
What is Dimensionality Reduction?
يؤدي تقليل الأبعاد إلى تقليص البيانات من العديد من الأعمدة (الميزات) إلى عدد قليل منها مع الحفاظ على البنية المهمة. فهو يحارب "لعنة الأبعاد"، ويسرع النماذج، ويتيح لك تصور البيانات المعقدة في صورة ثنائية أو ثلاثية الأبعاد.
ما هي "لعنة الأبعاد"؟
في المساحات ذات الأبعاد العالية جدًا، تنتشر النقاط متباعدة وتتعطل مقاييس المسافة، لذلك تكافح النماذج للعثور على الأنماط وتميل إلى الإفراط في التناسب.
كيف تقرر PCA الاتجاهات التي يجب الاحتفاظ بها؟
يبحث PCA عن المكونات الرئيسية، وهي المحاور ذات التباين الأكبر، ويحتفظ بالمكونات العليا لأنها تحمل أكبر قدر من المعلومات.
لماذا يسمى PCA بالطريقة "الخطية"؟
كل مكون رئيسي عبارة عن مزيج خطي من الميزات الأصلية، لذلك لا يستطيع PCA التقاط بنية منحنية وغير خطية بالطريقة التي يستطيع بها t-SNE أو UMAP.
ما الذي يتميز به t-SNE وUMAP بشكل خاص؟
كلاهما تقنيات غير خطية تُبقي النقاط القريبة قريبة في الخريطة منخفضة الأبعاد، مما يجعل المجموعات مرئية في صورة ثنائية أو ثلاثية الأبعاد.