หน้าต่างบานเลื่อนความสนใจ

This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.

การเอาใจใส่ตนเองแบบมาตรฐานจะเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ ดังนั้นลำดับความยาว N จึงต้องการเปรียบเทียบแบบ N-squared อย่างคร่าว ๆ ความสนใจของหน้าต่างบานเลื่อนจะแก้ไขปัญหานี้โดยให้แต่ละโทเค็นมีหน้าต่างขนาด W (เช่น 4,096 โทเค็น) และดูแลเฉพาะเพื่อนบ้านภายในหน้าต่างนั้นเท่านั้น ต้นทุนเพิ่มขึ้นเป็น N คูณ W แทนที่จะเป็น N-squared สิ่งสำคัญที่สุดคือ การวางซ้อนเลเยอร์ที่มีหน้าต่างจำนวนมากจะขยายฟิลด์รับที่มีประสิทธิภาพ: หลังจากเลเยอร์ L แล้ว ข้อมูลสามารถแพร่กระจายผ่านโทเค็น L คูณ W ประมาณได้ เช่นเดียวกับฟิลด์เปิดรับที่เพิ่มขึ้นของ CNN Mistral 7B ทำให้สิ่งนี้เป็นที่นิยมด้วยหน้าต่างโทเค็น 4,096 โทเค็นใน 32 เลเยอร์ ซึ่งถึงช่วงโทเค็นทางทฤษฎีที่ 131,000 โทเค็น โมเดลมักจะผสมเลเยอร์ที่มีหน้าต่างกับเลเยอร์ที่มีความสนใจเต็มรูปแบบเป็นครั้งคราว เพื่อรักษาลิงก์ระยะไกล