การแบทช์อย่างต่อเนื่อง

It keeps the GPU constantly busy and sharply increases how many users an AI model can serve at once.

GPU จะเร็วที่สุดเมื่อประมวลผลคำขอหลายรายการพร้อมกันเป็นชุด วิธีการแบบไร้เดียงสา การแบทช์แบบคงที่ จัดกลุ่มชุดคำขอคงที่ รันคำขอทั้งหมดจนเสร็จสิ้น จากนั้นจึงเริ่มแบทช์ถัดไป ปัญหา: ผลลัพธ์ของโมเดลภาษานั้นมีความยาวแตกต่างกันอย่างมาก ดังนั้นคำขอสั้นๆ จะเสร็จสิ้นก่อนกำหนดและสล็อตของคำขอเหล่านั้นจะไม่ได้ใช้งานในขณะที่แบทช์รอคำขอที่ยาวที่สุด สิ้นเปลืองรอบของ GPU และทำให้การมาถึงใหม่ล่าช้า การแบทช์แบบต่อเนื่อง (หรือที่เรียกว่าการแบทช์ในเที่ยวบินหรือระดับการวนซ้ำ ซึ่งเป็นที่นิยมใน Orca paper และใช้ใน vLLM, TensorRT-LLM และ TGI) ทำงานที่รายละเอียดของขั้นตอนการถอดรหัสขั้นตอนเดียว หลังจากที่แต่ละโทเค็นถูกสร้างขึ้น ลำดับที่เสร็จสิ้นแล้วจะออกจากแบทช์และคำขอที่มาถึงใหม่จะถูกเสียบเข้าไปทันที ซึ่งจะทำให้แบตช์เต็มและ GPU อิ่มตัว ซึ่งมักจะเพิ่มปริมาณงานหลายเท่าโดยมีเวลาแฝงที่ต่ำกว่าสำหรับผู้ใช้ที่รอ