معماريات التشفير وفك التشفير
تقسم معماريات التشفير وفك التشفير النموذج إلى نصفين: نصف يقرأ ويضغط المدخلات إلى تمثيل داخلي غني، والآخر يولد مخرجات منه.
نظرة عامة
This design powers translation, summarization, and any task where the input and output are different sequences.
الغوص العميق
يعالج نموذج التشفير وفك التشفير المشكلة على مرحلتين. يقرأ برنامج التشفير تسلسل الإدخال بأكمله (على سبيل المثال، جملة باللغة الإنجليزية) ويحوله إلى مجموعة من المتجهات السياقية التي تلتقط المعنى. يقوم مفكك التشفير بعد ذلك بإنتاج تسلسل الإخراج (على سبيل المثال، الفرنسية) رمزًا واحدًا في كل مرة، بالنظر إلى مخرجاته السابقة وإلى تمثيلات المشفر. كان Transformer الأصلي لعام 2017 عبارة عن وحدة فك ترميز وتشفير مصممة للترجمة. تستخدم نماذج مثل T5 وBART هذا الشكل وتضع إطارًا لكل مهمة كنص داخلي أو نص خارجي. يعد التقسيم قويًا لأن برنامج التشفير يمكنه رؤية الإدخال بالكامل مرة واحدة (سياق ثنائي الاتجاه)، بينما يقوم برنامج فك التشفير بإنشاء اتجاه من اليسار إلى اليمين. وهذا يجعل التصميم مناسبًا بشكل طبيعي لمشاكل التسلسل إلى التسلسل حيث يختلف طول الإخراج والمحتوى عن الإدخال.
البصيرة الفنية
يستخدم برنامج التشفير الانتباه الذاتي ثنائي الاتجاه، بحيث يهتم كل رمز إدخال بكل رمز مميز آخر في وقت واحد. وحدة فك التشفير هي انحدار ذاتي وتستخدم انتباهًا ذاتيًا مقنعًا، مما يعني أن كل موضع يمكنه فقط رؤية المواضع السابقة للحفاظ على التوليد السببي. يعد توصيلها بمثابة اهتمام متبادل: تستعلم طبقات وحدة فك التشفير عن الحالات المخفية النهائية لجهاز التشفير. يتيح هذا الفصل لجهاز التشفير بناء فهم كامل ومستقل عن الطلب بينما يلتزم جهاز فك التشفير برمز مميز واحد في كل مرة.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل معماريات التشفير وفك التشفير
تهيمن الآن نماذج وحدة فك التشفير فقط مثل GPT على الدردشة ذات الأغراض العامة لأن مجموعة مكدسة واحدة تتدرج ببساطة وتتعامل مع العديد من المهام عبر المطالبة. لكن تصميمات التشفير وفك التشفير تظل قائمة حيث يكون فهم المدخلات وتوليد المخرجات مختلفين بشكل حقيقي: التعرف على الكلام (Whisper)، وتلخيص المستندات، وأنظمة الوسائط المتعددة التي تقترن بجهاز تشفير الرؤية مع وحدة فك ترميز النص. توقع تصميمات هجينة تستعير الفهم ثنائي الاتجاه لجهاز التشفير من أجل الاسترجاع والتأريض مع الحفاظ على مرونة وحدة فك التشفير، خاصة وأن النماذج تدمج النص والصوت والصور.
التنفيذ في العالم الحقيقي
Google تستخدم الترجمة وDeepL محولات التشفير وفك التشفير لتعيين جملة من لغة إلى أخرى.
يقوم Whisper الخاص بـ OpenAI بتشفير المخططات الطيفية الصوتية وفك تشفيرها إلى نص مكتوب أو مترجم.
يعمل T5 وBART على التلخيص التجريدي، وتكثيف المقالات الطويلة في ملخصات قصيرة.
تقوم أنظمة التعليق على الصور بإقران جهاز تشفير الرؤية مع وحدة فك ترميز النص لوصف الصور بالكلمات.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Encoder-Decoder Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
التشفير المتقاطع مقابل التشفير الثنائي
الأسئلة المتداولة
What is Encoder-Decoder Architectures?
تقسم معماريات التشفير وفك التشفير النموذج إلى نصفين: نصف يقرأ ويضغط المدخلات إلى تمثيل داخلي غني، والآخر يولد مخرجات منه. يعمل هذا التصميم على تشغيل الترجمة والتلخيص وأي مهمة يكون فيها المدخلات والمخرجات تسلسلات مختلفة.
ما هي الوظيفة الرئيسية لجهاز التشفير في نموذج التشفير وفك التشفير؟
يستهلك جهاز التشفير تسلسل الإدخال بأكمله وينتج متجهات سياقية تلتقط معناها، والتي يستخدمها جهاز فك التشفير بعد ذلك.
لماذا يستخدم جهاز فك التشفير الاهتمام الذاتي المقنع (السببي)؟
يضمن الإخفاء أن كل موضع مخرجات يهتم فقط بالمواضع السابقة، مع الحفاظ على ترتيب الانحدار التلقائي من اليسار إلى اليمين.
ما هي الآلية التي تربط وحدة فك التشفير بتمثيلات جهاز التشفير؟
يتيح الانتباه المتبادل لكل طبقة وحدة فك ترميز الاستعلام عن الحالات المخفية لجهاز التشفير، وربط فهم المدخلات بإنشاء المخرجات.
أي من هذه النماذج يمثل بنية التشفير وفك التشفير (تسلسل إلى تسلسل)؟
T5 (و BART) عبارة عن نماذج تشفير وفك تشفير كلاسيكية تعمل على تأطير المهام كنص إلى نص. BERT هو برنامج تشفير فقط وGPT-3 هو جهاز فك تشفير فقط.
لماذا يعتبر تصميم التشفير وفك التشفير مناسبًا بشكل طبيعي للترجمة؟
تقوم الترجمة بتعيين تسلسل واحد إلى تسلسل مختلف، لذا فإن قراءة المصدر بالكامل (جهاز التشفير) وإنشاء هدف جديد (وحدة فك التشفير) مناسب تمامًا.