เกิดอะไรขึ้น
นักวิจัยเสนอ FleetSieve ซึ่งเป็นวิธีการในการเลือกการกำหนดค่าเทนเซอร์ขนานและจำนวนแบบจำลองสำหรับฟลีตที่ให้บริการ LLM ในการประเมินของรายงานนี้ มีการตัดสินใจโดยรวมแบบเดียวกับ Oracle ในขณะที่ใช้ GPU วินาทีน้อยกว่าเส้นฐานการทำโปรไฟล์แบบสุ่มที่ทดสอบ
เอกสารนี้ยังรายงานผลที่ตามมาที่เกี่ยวข้องกับเวลาแฝงของการจัดทำโปรไฟล์ที่กระจัดกระจายหรือไม่สมบูรณ์ การสร้างแบบจำลองความจุร่วมและเวลาในการตอบสนองส่วนท้ายหลีกเลี่ยงการเลือกการกำหนดค่าที่มีเวลาเสร็จสิ้น p99 อยู่ที่ 46.4 วินาที เทียบกับ SLO 30 วินาที กล่าวอีกนัยหนึ่ง การเปรียบเทียบที่รายงานจะเชื่อมโยงตัวเลือกการทำโปรไฟล์กับทั้งมุมมองความจุและมุมมองเวลาแฝง แทนที่จะอธิบายปริมาณงานแยกกัน ผลลัพธ์ที่เกี่ยวข้องถูกระบุว่าเป็นตัวเลือกที่หลีกเลี่ยง และการเปรียบเทียบเวลาแฝงเฉพาะยังคงอยู่ที่ 46.4 วินาทีต่อ 30 วินาที รายละเอียดนี้เป็นส่วนหนึ่งของการประเมินที่รายงานของรายงาน ดังนั้นจึงควรแนบไปกับตัวเลือกการสร้างแบบจำลองตามที่รายงานอธิบาย ผลลัพธ์เกี่ยวข้องกับ SLO ที่ระบุและผลการเลือกการกำหนดค่าที่ระบุไว้ มันไม่ได้แทนที่หลักฐานที่กว้างขึ้นซึ่งอธิบายไว้ที่อื่นในร่างด้วยตัวมันเอง
ในการจัดสรร 16-GPU ผู้เขียนกล่าวว่าการตัดสินใจแบบกระจัดกระจายที่ไม่ถูกต้องอาจสูญเสียคำขอได้มากถึง 1.93 คำขอต่อวินาที และ 12.4 เปอร์เซ็นต์ของการตอบสนองขั้นต่ำสูงสุด ตัวเลขเหล่านี้อธิบายถึงผลที่ตามมาของการตัดสินใจผิดจากโปรไฟล์ที่ไม่สมบูรณ์ โดยจะแสดงเป็นผลขาดทุนที่ระบุไว้ด้านบนสำหรับการจัดสรรนั้น ไม่ใช่ผลลัพธ์สากลสำหรับกองเรือที่ให้บริการ LLM ทุกรายการหรือทุกการจัดสรร บริบท 16-GPU และการวัดคำขอต่อวินาทีและการตอบสนองสูงสุดขั้นต่ำเป็นส่วนหนึ่งของการอ้างสิทธิ์ การรักษาคุณสมบัติเหล่านั้นไว้ด้วยกันมีความสำคัญเนื่องจากข้อเสนอที่กว้างขึ้นของเอกสารเกี่ยวข้องกับการกำหนดค่าเทนเซอร์ขนานและจำนวนแบบจำลอง ในขณะที่ตัวอย่างนี้จะอธิบายผลกระทบเฉพาะการจัดสรรอย่างหนึ่ง ค่าที่รายงานจึงยังคงเชื่อมโยงกับการตัดสินใจแบบกระจัดกระจายและการจัดสรรที่อธิบายโดยแหล่งที่มา
การทำซ้ำขอบเขตและการวัด BurstGPT ได้รับการอ้างถึงว่าสนับสนุนกลไกเวลาแฝงหางที่ขึ้นกับโหลดที่สังเกตได้ สิ่งเหล่านี้เป็นการอ้างสิทธิ์จากการพิมพ์ล่วงหน้า arXiv v1; แหล่งที่มาที่ให้มาไม่ได้จัดให้มีการจำลองแบบอิสระหรือการตรวจสอบการผลิต การวัดดังกล่าวถือเป็นการสนับสนุนกลไกที่กล่าวถึงในรายงาน ในขณะที่สถานะแหล่งที่มาจะจำกัดขอบเขตของการตีความผลลัพธ์ในวงกว้าง ข้อความระบุทั้งการวัดที่รองรับและการไม่มีการจำลองแบบอิสระหรือการตรวจสอบการผลิต ดังนั้น ผลที่ตามมาที่เกี่ยวข้องกับเวลาแฝง ตัวเลขการสูญเสีย 16-GPU และกลไกที่ขึ้นอยู่กับโหลด จึงเป็นของหลักฐานที่รายงานของเอกสาร โดยสถานะ arXiv v1 ยังคงอยู่เป็นคุณสมบัติที่ชัดเจน ไม่มีสิ่งใดในแหล่งที่ให้มาเปลี่ยนแปลงความจริงที่ว่าข้อสังเกตเหล่านี้มาจากการประเมินของงานพิมพ์เองและการวัดสนับสนุน
ทำไมมันถึงสำคัญ
ผู้ปฏิบัติงาน LLM ต้องสร้างสมดุลระหว่างปริมาณงาน การจัดสรรฮาร์ดแวร์ และการรับประกันเวลาแฝง งานวิจัยนี้ชี้ให้เห็นว่าการทำโปรไฟล์เฉพาะการกำหนดค่าที่มีความสำคัญต่อการตัดสินใจเท่านั้นที่สามารถลดค่าใช้จ่ายในการวัดได้ ในขณะที่การสร้างแบบจำลองความจุและเวลาในการตอบสนองส่วนท้ายร่วมกันอาจป้องกันตัวเลือกที่บรรลุเป้าหมายปริมาณงานแต่ละเมิด SLO
บทความนี้เป็นผลสืบเนื่องในฐานะการศึกษาโครงสร้างพื้นฐานของ AI เนื่องจากการกำหนดค่ากลุ่มยานพาหนะส่งผลกระทบต่อต้นทุนและคุณภาพการบริการของโมเดลภาษาที่ใช้งาน แต่หลักฐานยังคงแคบ ความสำคัญนั้นตามมาจากความเชื่อมโยงระหว่างการตัดสินใจในการกำหนดค่า การจัดสรรฮาร์ดแวร์ ปริมาณการประมวลผล และการรับประกันเวลาแฝงที่อธิบายไว้ในร่าง ในขณะเดียวกัน หลักฐานที่แคบหมายความว่าควรอ่านผลการรายงานของรายงานภายในการประเมินที่ให้มา การศึกษานี้ตอบคำถามเกี่ยวกับโครงสร้างพื้นฐานที่ใช้งานได้จริง แต่แหล่งข้อมูลที่มีอยู่ไม่ได้เปลี่ยนคำถามนั้นให้เป็นข้อสรุปทั่วไปเกี่ยวกับโมเดลภาษาทุกรูปแบบที่ใช้งาน นัยสำคัญคือการรวมกันของปัญหาการปฏิบัติงานที่อาจสำคัญและฐานหลักฐานที่จำกัด การมุ่งเน้นที่เสนอของบทความนี้ในเรื่องการทำโปรไฟล์ที่มีความสำคัญต่อการตัดสินใจอาจลดค่าใช้จ่ายในการวัดในการตั้งค่าที่ได้รับการประเมิน ในขณะที่ขีดจำกัดที่ระบุไว้ยังคงเกี่ยวข้องกับวิธีทำความเข้าใจความหมายโดยนัยนั้น
แหล่งที่มาที่ให้มาจะระบุขนาดโมเดลหนึ่งขนาด ตารางการวัด H100 แบบคงที่หนึ่งตาราง และขั้นตอนการเปรียบเทียบของกระดาษเอง รายละเอียดเหล่านั้นกำหนดการตั้งค่าที่ได้รับต้นทุนการทำโปรไฟล์ที่รายงานและผลการจัดสรร แหล่งที่มายังให้บริบทสำหรับการจับคู่ oracle ที่ระบุ โดย GPU-วินาทีน้อยกว่าพื้นฐานการทำโปรไฟล์แบบสุ่มที่ทดสอบ และการสังเกตที่เกี่ยวข้องกับเวลาแฝง แต่ไม่ได้ขยายการประเมินให้กว้างกว่าขนาดโมเดล ตารางฮาร์ดแวร์ และขั้นตอนการเปรียบเทียบที่ระบุไว้ที่นี่ ลักษณะคงที่ของตารางจึงมีความสำคัญต่อการตีความผลลัพธ์ โดยจะเก็บหลักฐานที่เชื่อมโยงกับเงื่อนไขที่รายงานรายงานจริง ในขณะเดียวกันก็เปิดคำถามเกี่ยวกับโครงสร้างพื้นฐานที่กว้างขึ้นสำหรับการจำลองแบบที่อธิบายไว้ในร่าง
ไม่ได้กำหนดว่าวิธีการทำงานอย่างไรกับตัวเร่งความเร็วที่ต่างกัน ขนาดโมเดลหลายขนาด การแย่งชิงเครือข่าย การรับส่งข้อมูลที่เปลี่ยนแปลงอย่างรวดเร็ว คำจำกัดความ SLO ที่แตกต่างกัน หรือความล้มเหลวในการผลิตจริง แต่ละเงื่อนไขเหล่านั้นเป็นขอบเขตของสิ่งที่สามารถอนุมานได้จากแหล่งที่มาที่ให้มา การไม่มีผลลัพธ์ที่กำหนดไว้สำหรับเงื่อนไขเหล่านั้นไม่ได้เป็นการปฏิเสธผลการค้นพบที่รายงานของบทความนี้ หมายความว่าการค้นพบเหล่านั้นยังคงเกี่ยวข้องกับการประเมินที่ระบุไว้ ความแตกต่างเดียวกันนี้ใช้กับต้นทุนและคุณภาพการบริการ: เอกสารฉบับนี้กล่าวถึงทั้งข้อกังวลด้านโครงสร้างพื้นฐาน แต่หลักฐานที่ให้มาไม่ได้ระบุถึงประสิทธิภาพการทำงานในรูปแบบต่างๆ ที่ระบุไว้ ดังนั้นการกำหนดค่าฟลีทจึงยังคงเป็นปัญหาในการดำเนินงานที่สำคัญ ในขณะที่การประหยัดและการป้องกันเวลาแฝงที่รายงานของ FleetSieve โดยทั่วไปยังคงไม่ได้รับการแก้ไข
กลไกเชิงโต้ตอบ: มันทำงานอย่างไร
สำรวจเทคโนโลยีเบื้องหลังการพัฒนานี้แบบโต้ตอบ
In AI, what are a model's "parameters"?
จะดูอะไรต่อไป.
ผลกำไรที่รายงานมาจากตารางการวัดค่า H100 แบบคงที่และโมเดลน้ำหนักเปิด 31B หนึ่งตัว การจำลองแบบข้ามโมเดล ฮาร์ดแวร์ ปริมาณงาน และการรับส่งข้อมูลที่เปลี่ยนแปลงจะเป็นตัวกำหนดว่าการประหยัดและการป้องกันความหน่วงของ FleetSieve นั้นครอบคลุมนอกเหนือจากการศึกษาวิจัยหรือไม่
สุดท้ายนี้ ผู้อ่านควรแยกแยะความแตกต่างระหว่าง oracle match และการป้องกันเวลาแฝงที่รายงานในรายงานจากการรับประกันประสิทธิภาพที่จัดตั้งขึ้นโดยอิสระ แหล่งที่มาอธิบายการเปรียบเทียบของ Oracle และการเลือกที่เกี่ยวข้องกับเวลาแฝงที่หลีกเลี่ยงเป็นผลลัพธ์ที่รายงาน ในขณะที่หลักฐานที่ให้มาไม่ได้แสดงเป็นการรับประกันที่จัดตั้งขึ้นโดยอิสระ ความแตกต่างนี้รักษาความแตกต่างระหว่างสิ่งที่รายงานในรายงานและสิ่งที่ได้รับการยืนยันนอกรายงาน นอกจากนี้ยังช่วยประหยัดการทำโปรไฟล์ที่ระบุไว้ ผลกระทบจากการจัดสรร และการสังเกตที่เกี่ยวข้องกับ SLO ไว้ในบริบทที่เหมาะสม การจับคู่ของ Oracle ที่รายงานเกี่ยวข้องกับการตัดสินใจโดยรวมในการประเมินของรายงาน และการป้องกันเวลาแฝงเกี่ยวข้องกับผลที่ตามมาของการสร้างแบบจำลองและการเลือกที่อธิบายไว้ในนั้น คำอธิบายทั้งสองไม่เปลี่ยนแปลงความจำเป็นในการตรวจสอบขีดจำกัดการประเมินของแหล่งที่มา ก่อนที่จะขยายผลลัพธ์เหล่านั้นไปยังการตั้งค่าโครงสร้างพื้นฐาน LLM อื่นๆ
แหล่งที่มาคือบันทึก arXiv สำหรับการพิมพ์ล่วงหน้า และไม่รายงานการตรวจสอบโดยผู้ทรงคุณวุฒิ การจำลองแบบภายนอก การตรวจสอบรหัส หรือผลลัพธ์จากฟลีตการผลิต การละเว้นเหล่านี้เป็นข้อจำกัดที่ชัดเจนเกี่ยวกับหลักฐานที่มีอยู่ ไม่ใช่การค้นพบเพิ่มเติมเกี่ยวกับวิธีการ สิ่งเหล่านี้มีความสำคัญเนื่องจากสถานะของแหล่งที่มาและการไม่มีการตรวจสอบจากภายนอกจะกำหนดว่าผลกระทบที่รายงานสามารถสรุปได้อย่างมั่นใจเพียงใด ดังนั้นแบบร่างจึงถือว่าการพิมพ์ล่วงหน้าเป็นแหล่งที่มาของการอ้างสิทธิ์ ในขณะที่ยังคงไม่มีการตรวจสอบโดยผู้ทรงคุณวุฒิ การจำลองแบบภายนอก การตรวจสอบรหัส และผลลัพธ์ของกองยานพาหนะการผลิต ตารางการวัด H100 แบบคงที่ที่รายงานและแบบจำลองน้ำหนักเปิด 31B หนึ่งตัวยังคงเป็นการตั้งค่าที่ระบุไว้แล้ว และไม่มีการตรวจสอบความถูกต้องที่กว้างขึ้นในแหล่งที่มาที่อธิบายไว้ที่นี่
งานติดตามผลควรตรวจสอบการประหยัดเฉลี่ย 5.4% การเปรียบเทียบการแชท 21.5% และ SLO ที่ระบุและเอฟเฟกต์การปฏิบัติตามข้อกำหนด ก่อนที่จะถือว่าเป็นความคาดหวังทั่วไปสำหรับโครงสร้างพื้นฐาน LLM ตัวเลขเหล่านี้ได้รับการตั้งชื่อว่าเป็นผลลัพธ์ที่ต้องมีการตรวจสอบ ควบคู่ไปกับ SLO และเอฟเฟกต์การปฏิบัติตามที่อธิบายไว้แล้ว การตรวจสอบจะรักษาความแตกต่างระหว่างตัวเลขที่รายงานของรายงานและผลลัพธ์ที่สร้างขึ้นในการตั้งค่าเพิ่มเติม จนกว่าจะมีการติดตามผล ตัวเลขยังคงเชื่อมโยงกับการพิมพ์ล่วงหน้าของ arXiv การประเมินแบบตายตัว และขั้นตอนการเปรียบเทียบของตัวเอง ข้อควรระวังเดียวกันนี้ใช้กับการป้องกันเวลาแฝงและการจับคู่ของ Oracle: ผลลัพธ์เหล่านี้จะถูกรายงานให้รับชม ในขณะที่แหล่งที่มาไม่ได้ให้หลักฐานที่เป็นอิสระหรือการผลิตที่จำเป็นในการปฏิบัติต่อสิ่งเหล่านั้นเสมือนความคาดหวังทั่วไป