التاليالدليل التالي
تضمين الكلمات الفرعية FastText
لغة الذكاء الاصطناعي
دليل اللغة AI
تعمل HyDE على تحسين عملية الاسترجاع من خلال مطالبة نموذج اللغة أولاً بتخيل مستند إجابة مزيف، ثم البحث باستخدام تضمين هذا المستند بدلاً من الاستعلام الأولي.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
It bridges the gap between short questions and the longer passages you actually want to find.
HyDE was proposed by Gao and colleagues in 2022 for dense retrieval without relevance labels. It asks an instruction-following language model to generate a hypothetical answer document, embeds that text with an unsupervised contrastive encoder such as Contriever, and searches the actual corpus for similar vectors. The hypothetical document can supply document-like topical patterns even when its details are false. The paper describes the dense encoder as a bottleneck that can reduce the influence of invented details; this is not a guarantee that errors never affect retrieval. Evaluate real retrieved passages rather than treating the generated text as factual evidence. HyDE targets a query-to-document mismatch and reported strong results on tested tasks and languages, without implying universal superiority over trained retrievers.
استرجاع الصفر في مجال جديد حيث لا توجد بيانات تدريبية خاصة بممر الاستعلام
بحث متعدد اللغات، لتوليد إجابة افتراضية في اللغة الهدف قبل التضمين
تحسين استدعاء RAG من خلال توسيع أسئلة المستخدم المقتضبة إلى مستندات زائفة غنية
البحث والبحث القانوني حيث تحتاج الاستعلامات القصيرة إلى مطابقة فقرات المصدر الكثيفة والمصطلحات الثقيلة
HyDE عبارة عن لبنة بناء في خطوط أنابيب RAG المتقدمة، وغالبًا ما يتم دمجها مع إعادة الترتيب وإنشاء الاستعلامات المتعددة. توقع المتغيرات التي تولد مستندات افتراضية متعددة ومتوسط تضميناتها من حيث المتانة، والاستخدام التكيفي الذي يقوم بتشغيل HyDE فقط عندما يتم استرداد الاستعلام الأولي بشكل سيئ، والتكامل الأكثر إحكامًا مع LLMs المحلية الأرخص لتقليل زمن الوصول والتكلفة. ومع تحسن النماذج التوليدية، فإن جودة الوثائق الافتراضية ـ وبالتالي استرجاعها ـ لابد أن تستمر في الارتفاع.
رسالة إخبارية مجانية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
تعمل HyDE على تحسين عملية الاسترجاع من خلال مطالبة نموذج اللغة أولاً بتخيل مستند إجابة مزيف، ثم البحث باستخدام تضمين هذا المستند بدلاً من الاستعلام الأولي. إنه يسد الفجوة بين الأسئلة القصيرة والمقاطع الأطول التي تريد العثور عليها بالفعل.
يطلب HyDE من LLM كتابة مستند إجابة افتراضي، والذي يتم بعد ذلك استخدام تضمينه للبحث عن مقاطع حقيقية.
The paper motivates the dense bottleneck as filtering details, but a generated error can still change the representation and retrieved results.
يقوم HyDE بإقران مولد LLM مع برنامج تشفير متباين غير خاضع للرقابة مثل Contriever لتضمين المستند الافتراضي.
من خلال تحويل الاستعلام إلى نص يشبه المستند، يقوم HyDE بنقل متجه البحث إلى مكان أقرب إلى نوع المقاطع التي يجب أن يطابقها.
Combining embeddings is one way to aggregate generated samples; it does not guarantee improved retrieval on every query.
استمر في التعلم
تم اختيار المزيد من الأدلة لهذا الموضوع
التاليالدليل التالي
تضمين الكلمات الفرعية FastText
لغة الذكاء الاصطناعي