نظرة عامة
هيكل الفكر (SoT) عبارة عن تقنية تحفيز وفك تشفير تطلب أولاً من نموذج اللغة تحديد هيكل موجز لنقاط الإجابة، ثم توسيع كل نقطة بالتوازي. إنه أمر مهم لأنه يمكن أن يقلل زمن استجابة ساعة الحائط للإجابات الطويلة بمقدار 2x تقريبًا دون إعادة تدريب النموذج.
يعد فك التشفير المتوازي لهيكل الفكر جزءًا من مجموعة لغات الذكاء الاصطناعي المستخدمة لقراءة وإنشاء وتصنيف وتحويل النص والكلام على نطاق واسع.
الغوص العميق
عادةً ما تولد النماذج اللغوية الكبيرة رمزًا مميزًا واحدًا في كل مرة، لذا تكون الإجابة الطويلة بطيئة، وذلك ببساطة لأن كل كلمة تنتظر الكلمة التي تسبقها. هيكل الفكر، الذي قدمه الباحثون في تسينغهوا و Microsoft في عام 2023، يعيد هيكلة العمل. في المكالمة الأولى، يطلب من النموذج تقديم هيكل مقتضب: قائمة مرقمة من 3 إلى 10 عناوين نقاط، كل منها بضع كلمات فقط. ثم تقوم دفعة ثانية من الاستدعاءات بتوسيع كل نقطة بشكل مستقل وفي وقت واحد، لأن النقاط لا تعتمد على بعضها البعض. يتم تجميع التوسعات معًا مرة أخرى في الإجابة النهائية. نظرًا لأن مرحلة التوسع البطيء تعمل بالتوازي، ينخفض زمن الاستجابة الإجمالي بشكل حاد بالنسبة للأسئلة التي تتحلل إجاباتها بشكل طبيعي إلى أجزاء مستقلة، مثل سرد النصائح أو مقارنة الخيارات.
البصيرة الفنية
تستغل SoT أن استنتاج وحدة فك التشفير مرتبط بزمن الوصول، وليس دائمًا مرتبطًا بالحوسبة: غالبًا ما يترك طلب واحد وحدة معالجة الرسومات غير مستغلة بشكل كافٍ. يؤدي تشغيل توسيعات النقاط كدفعة إلى إبقاء الأجهزة مشغولة وتداخل عملية إنشاء كل نقطة. مع نماذج واجهة برمجة التطبيقات (API)، يتم إصدار التوسعات كطلبات متزامنة؛ مع النماذج المحلية، يتشاركون في تمريرة أمامية واحدة مجمعة. تضيف مرحلة الهيكل العظمي حملًا قصيرًا ثابتًا، لذلك ينمو صافي التسريع مع طول الإجابة وعدد النقاط المستقلة.
إتقان فك التشفير المتوازي للهيكل العظمي للفكر
هيكل الفكر (SoT) عبارة عن تقنية تحفيز وفك تشفير تطلب أولاً من نموذج اللغة تحديد هيكل موجز لنقاط الإجابة، ثم توسيع كل نقطة بالتوازي. إنه أمر مهم لأنه يمكن أن يقلل زمن استجابة ساعة الحائط للإجابات الطويلة بمقدار 2x تقريبًا دون إعادة تدريب النموذج. يعد فك التشفير المتوازي لهيكل الفكر جزءًا من مجموعة لغات الذكاء الاصطناعي المستخدمة لقراءة وإنشاء وتصنيف وتحويل النص والكلام على نطاق واسع. لبناء فهم عميق، يجب التعامل مع فك التشفير المتوازي لهيكل الفكر كنموذج تشغيل، وليس كميزة واحدة: تحديد النتائج المرغوبة، وتوضيح الافتراضات، وفصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.
من الناحية العملية، تعمل الفرق القوية التي تستخدم تصميم Skeleton-of-Thought Parallel Decoding على المطالبة بحلقات الاسترجاع والمراجعة كنظام اتصال متكامل واحد. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي الوقت نفسه، يمكن للحقائق المهلوسة أن تدخل التقارير أو التدفقات الداعمة أو مخرجات البحث بهدوء. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.
التأثير الاستراتيجي
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
التنفيذ في العالم الحقيقي
تسريع برنامج الدردشة الآلي الذي يجيب على "أعطني 8 نصائح لتقليل تكاليف السحابة" من خلال توسيع النصائح الثمانية مرة واحدة.
مساعد دعم العملاء يقوم بإنشاء دليل منظم لاستكشاف الأخطاء وإصلاحها متعدد الأقسام مع زمن استجابة أقل.
إنتاج إجابة مقارنة (إيجابيات وسلبيات منتجين) حيث يتم ملء كل رمز نقطي بشكل متزامن.
تقوم أنظمة تقديم الواجهة الخلفية بتجميع أقسام الإجابات المستقلة لزيادة استخدام وحدة معالجة الرسومات أثناء الإنشاء الطويل.
أنماط التنفيذ
هيكل عظمي للفكر فك التشفير الموازي في الممارسة العملية
تسريع برنامج الدردشة الآلي الذي يجيب على "أعطني 8 نصائح لتقليل تكاليف السحابة" من خلال توسيع النصائح الثمانية مرة واحدة.
تسريع برنامج الدردشة الذي يجيب على "أعطني 8 نصائح لتقليل تكاليف السحابة" من خلال توسيع النصائح الثمانية مرة واحدة. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
هيكل عظمي للفكر فك التشفير الموازي في الممارسة العملية
مساعد دعم العملاء يقوم بإنشاء دليل منظم لاستكشاف الأخطاء وإصلاحها متعدد الأقسام مع زمن استجابة أقل.
يقوم مساعد دعم العملاء بإنشاء دليل منظم لاستكشاف الأخطاء وإصلاحها متعدد الأقسام مع زمن استجابة أقل للاستجابة، عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
هيكل عظمي للفكر فك التشفير الموازي في الممارسة العملية
إنتاج إجابة مقارنة (إيجابيات وسلبيات منتجين) حيث يتم ملء كل رمز نقطي بشكل متزامن.
إنتاج إجابة مقارنة (إيجابيات وسلبيات منتجين) حيث يتم ملء كل نقطة بشكل متزامن، عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
هيكل عظمي للفكر فك التشفير الموازي في الممارسة العملية
تقوم أنظمة تقديم الواجهة الخلفية بتجميع أقسام الإجابات المستقلة لزيادة استخدام وحدة معالجة الرسومات أثناء الإنشاء الطويل.
تعمل أنظمة الخدمة الخلفية على تجميع أقسام الإجابات المستقلة لزيادة استخدام وحدة معالجة الرسومات أثناء الإنشاء طويل الأمد. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.