هيكل عظمي للفكر فك التشفير الموازي

It matters because it can cut the wall-clock latency of long answers by roughly 2x without retraining the model.

عادةً ما تولد النماذج اللغوية الكبيرة رمزًا مميزًا واحدًا في كل مرة، لذا تكون الإجابة الطويلة بطيئة، وذلك ببساطة لأن كل كلمة تنتظر الكلمة التي تسبقها. هيكل الفكر، الذي قدمه الباحثون في تسينغهوا و Microsoft في عام 2023، يعيد هيكلة العمل. في المكالمة الأولى، يطلب من النموذج تقديم هيكل مقتضب: قائمة مرقمة من 3 إلى 10 عناوين نقاط، كل منها بضع كلمات فقط. ثم تقوم دفعة ثانية من الاستدعاءات بتوسيع كل نقطة بشكل مستقل وفي وقت واحد، لأن النقاط لا تعتمد على بعضها البعض. يتم تجميع التوسعات معًا مرة أخرى في الإجابة النهائية. نظرًا لأن مرحلة التوسع البطيء تعمل بالتوازي، ينخفض ​​زمن الاستجابة الإجمالي بشكل حاد بالنسبة للأسئلة التي تتحلل إجاباتها بشكل طبيعي إلى أجزاء مستقلة، مثل سرد النصائح أو مقارنة الخيارات.