การถอดรหัสแบบขนานโครงกระดูกของความคิด

It matters because it can cut the wall-clock latency of long answers by roughly 2x without retraining the model.

โดยทั่วไปโมเดลภาษาขนาดใหญ่จะสร้างโทเค็นครั้งละหนึ่งโทเค็น ดังนั้นคำตอบที่ยาวจึงช้าเพียงเพราะแต่ละคำจะรอคำที่อยู่ข้างหน้า Skeleton-of-Thought เปิดตัวโดยนักวิจัยที่ Tsinghua และ Microsoft ในปี 2023 ได้ปรับโครงสร้างงานใหม่ การโทรครั้งแรกจะถามนางแบบเกี่ยวกับโครงกระดูกสั้นๆ ซึ่งเป็นรายการที่มีหมายเลขกำกับหัวข้อ 3 ถึง 10 จุด โดยแต่ละรายการเป็นเพียงคำไม่กี่คำ การเรียกชุดที่สองจะขยายทุกจุดอย่างอิสระและพร้อมกัน เนื่องจากแต่ละจุดไม่ได้ขึ้นอยู่กับอีกจุดหนึ่ง การขยายจะถูกต่อกลับเข้าด้วยกันเป็นคำตอบสุดท้าย เนื่องจากขั้นตอนการขยายที่ช้าทำงานไปพร้อมๆ กัน เวลาแฝงทั้งหมดจึงลดลงอย่างรวดเร็วสำหรับคำถามที่คำตอบถูกแยกย่อยออกเป็นส่วนๆ อย่างเป็นธรรมชาติ เช่น การแสดงรายการเคล็ดลับหรือตัวเลือกการเปรียบเทียบ