التضمين
تعمل عمليات التضمين على تحويل الكلمات أو الصور أو البيانات الأخرى إلى قوائم من الأرقام (المتجهات) بحيث تنتهي الأشياء المتشابهة بالقرب من بعضها البعض في مساحة عالية الأبعاد.
نظرة عامة
إنها الجسر الذي يتيح للذكاء الاصطناعي مقارنة المعنى رياضيًا.
الغوص العميق
لا تستطيع أجهزة الكمبيوتر التفكير في النص الخام بشكل مباشر، لذا تقوم النماذج أولاً بتحويل كل رمز أو جملة أو صورة إلى متجه، أو قائمة مرتبة من مئات أو آلاف الأرقام. يتم ترتيب هذه المتجهات بحيث تكون العناصر المتشابهة لغويًا بالقرب من بعضها البعض: يهبط "قطة" بالقرب من "قطة صغيرة"، ويهبط السؤال بالقرب من المستندات التي تجيب عليه. ويتعلم النموذج هذه الأوضاع أثناء التدريب، وليس باليد. أحد الأمثلة الشهيرة على ذلك هو أن الرياضيات المتجهة يمكنها التقاط العلاقات، حيث يقع "الملك" ناقص "الرجل" بالإضافة إلى "المرأة" بالقرب من "الملكة". تعمل عمليات التضمين على تعزيز البحث والتوصيات والتجميع وخطوة الاسترجاع في أنظمة RAG، لأن مقارنة متجهين بدرجة تشابه تكون سريعة وذات مغزى. والأهم من ذلك، أن التضمينات تلتقط الأنماط الإحصائية من بيانات التدريب، حتى تتمكن أيضًا من تحمل تحيزات تلك البيانات.
البصيرة الفنية
التضمين هو ناقل كثيف في مساحة مستمرة؛ يتم قياس التشابه عادة باستخدام تشابه جيب التمام (الزاوية بين المتجهات) أو منتج النقطة، حيث يعني الأعلى المزيد من التشابه. تتعلم النماذج عمليات التضمين عن طريق ضبط هذه المتجهات أثناء التدريب بحيث تقترب العناصر التي تظهر في سياقات مماثلة من بعضها البعض. للبحث في ملايين المتجهات بسرعة، تستخدم الأنظمة فهارس أقرب جار تقريبي (مثل HNSW) داخل قواعد بيانات المتجهات، مما يؤدي إلى تداول قدر ضئيل من الدقة لتحقيق مكاسب كبيرة في السرعة مقارنة بمقارنة القوة الغاشمة.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل التضمينات
أصبحت عمليات التضمين متعددة الوسائط بشكل متزايد، حيث تقوم بتعيين النص والصور والصوت في مساحة مشتركة واحدة حتى تتمكن من البحث عن الصور بالكلمات أو مطابقة الصوت مع التسميات التوضيحية، كما انتشرت نماذج مثل CLIP. توقع تضمين مستندات ذات سياق أطول، ونماذج أصغر وأرخص يتم تشغيلها على الجهاز، ومعالجة أفضل للتحيز والمعرفة التي لا معنى لها. نظرًا لأن الجيل المعزز من الاسترجاع أصبح معيارًا، فإن التضمينات عالية الجودة وقواعد البيانات المتجهة التي تخزنها ستظل بنية تحتية أساسية لتأصيل الذكاء الاصطناعي بمعلومات حقيقية وحديثة.
التنفيذ في العالم الحقيقي
تقوم محركات البحث الدلالية بتضمين استعلامك ومستنداتك، ثم تقوم بإرجاع أقرب المطابقات حسب المعنى بدلاً من الكلمات الرئيسية الدقيقة.
تقوم أنظمة RAG بتضمين قاعدة معرفية حتى يتمكن برنامج الدردشة الآلي من استرداد المقاطع الأكثر صلة قبل الإجابة.
تضع أنظمة التوصية (الموسيقى والمنتجات والفيديو) المستخدمين والعناصر كمتجهات قريبة لاقتراح محتوى مماثل.
الكشف عن الرسائل غير المرغوب فيها والرسائل المكررة وشبه المكررة عن طريق تضمين التشابه في وضع علامة على المحتوى المشابه.
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث تساعد عمليات التضمين وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
التالي في البناء باستخدام أنظمة الذكاء الاصطناعي
وكلاء الذكاء الاصطناعي
الأسئلة المتداولة
ما هو التضمين؟
تعمل عمليات التضمين على تحويل الكلمات أو الصور أو البيانات الأخرى إلى قوائم من الأرقام (المتجهات) بحيث تنتهي الأشياء المتشابهة بالقرب من بعضها البعض في مساحة عالية الأبعاد. إنها الجسر الذي يتيح للذكاء الاصطناعي مقارنة المعنى رياضيًا.
ما هو التضمين، في الأساس؟
التضمين عبارة عن ناقل كثيف للأرقام يضع عنصرًا في مساحة تكون فيها العناصر المتشابهة قريبة من بعضها البعض.
ما هو المقياس الشائع استخدامه لمقارنة اثنين من التضمينات؟
يقيس تشابه جيب التمام الزاوية بين المتجهات؛ القيمة الأعلى تعني أن العناصر تشير إلى اتجاه أكثر تشابهًا.
لماذا تستخدم أنظمة الإنتاج فهارس أقرب جار تقريبي (ANN) للتضمين؟
تعتبر مقارنة القوة الغاشمة على ملايين المتجهات بطيئة، لذا فإن مؤشرات ANN مثل HNSW تتاجر بدقة صغيرة لتحقيق مكاسب كبيرة في السرعة.
ما الذي يوضحه المثال الكلاسيكي "الملك - الرجل + المرأة - الملكة" حول التضمين؟
فهو يوضح أن التضمينات تشفر العلاقات هندسيًا، لذلك يمكن أحيانًا التعبير عن القياسات كجمع وطرح متجه.
ما هو الخطر الحقيقي عند استخدام التضمين؟
ونظرًا لأن عمليات التضمين تتعلم من البيانات، فإنها يمكنها استيعاب تحيزات تلك البيانات، والتي يمكن أن تظهر في البحث والتوصيات.