التاليالدليل التالي
تحرير الانتباه المتقاطع الفوري إلى الفوري
الذكاء الاصطناعي البصري
دليل اللغة AI
الاهتمام المتقاطع
Cross-attention lets queries from one representation attend to keys and values from another representation.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It is used to connect source and target sequences or different modalities.
الغوص العميق
Cross-attention lets queries from one representation attend to keys and values from another. The Transformer uses this in encoder-decoder layers; latent diffusion uses it for text-conditioned generation. Flamingo uses gated cross-attention layers to connect visual features to a language model and is designed to ingest arbitrarily interleaved visual and textual inputs, including images or video. These are architecture-specific examples, not a universal multimodal design. In Flamingo, cross-attention blocks are gated by a tanh-transformed learned scalar initialized to zero; this is an architecture-specific control and not a claim about how often cross-attention is used across multimodal systems.
التنفيذ في العالم الحقيقي
In an encoder-decoder Transformer, decoder queries attend to encoder outputs.
Latent diffusion models use cross-attention to condition image latents on text embeddings.
Flamingo inserts cross-attention layers so a language model can use visual features.
Different sequence lengths are possible because queries and key-value context need not have matching lengths.
مستقبل الاهتمام المتبادل
When inspecting a multimodal model, identify which stream supplies queries and which supplies keys and values. Evaluate alignment and failure cases across the relevant modalities. The cited papers do not establish one universal cross-attention design.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Cross-Attention quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Cross-Attention?
Cross-attention lets queries from one representation attend to keys and values from another representation. It is used to connect source and target sequences or different modalities.
ما هو الفرق الرئيسي بين الاهتمام الذاتي والانتباه المتبادل؟
يجذب الانتباه المتبادل الاستعلامات من تسلسل واحد (على سبيل المثال، وحدة فك التشفير) والمفاتيح والقيم من تسلسل مختلف (على سبيل المثال، وحدة التشفير)، مما يسمح للاثنين بالتفاعل.
في محول التشفير وفك التشفير، من أين تأتي الاستعلامات الخاصة بالانتباه المتبادل؟
يقوم جهاز فك التشفير بتكوين استعلامات من مخرجاته التي تم إنشاؤها جزئيًا، ثم يستخدم مخرجات جهاز التشفير كمفاتيح وقيم لسحب معلومات الإدخال ذات الصلة.
لماذا يمكن أن يكون للتسلسلين في الانتباه المتبادل أطوال أو طرائق مختلفة؟
وبما أن الاستعلامات تنشأ من مصدر واحد والمفاتيح/القيم من مصدر آخر، فإن التسلسلات تكون مستقلة وقد تختلف في الطول أو اللغة أو الطريقة.
كيف يستخدم الانتشار المستقر الانتباه المتبادل؟
يتيح الانتباه المتبادل لكل جزء من الصورة التي تم إنشاؤها الاستجابة للمطالبة النصية، مما يؤدي إلى ترسيخ العناصر المرئية في الكلمات.
ما هي العملية الحسابية التي يشترك فيها الانتباه المتبادل مع الانتباه الذاتي؟
يستخدم كلاهما نفس مقياس الاهتمام بالمنتج النقطي: درجات التشابه بين الاستعلامات والمفاتيح، وsoftmax، ثم مجموع مرجح للقيم.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع