ต่อไปคำแนะนำต่อไป
การเพิ่มประสิทธิภาพต้นทุนบนคลาวด์สำหรับปริมาณงาน ML
เทคนิค
คู่มือทางเทคนิค
ต้นทุนรวมในการเป็นเจ้าของ (TCO) ของ LLM ที่โฮสต์เอง คือค่าใช้จ่ายทั้งหมดในการรันโมเดลน้ำหนักเปิดบนฮาร์ดแวร์ของคุณเองหรือที่เช่า
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
ซึ่งรวมถึง GPU พลังงาน ระบบเครือข่าย ซอฟต์แวร์ เจ้าหน้าที่วิศวกรรม ความจุว่าง และการอัพเกรด ไม่ใช่แค่ราคาของ GPU เมื่อเปรียบเทียบกับราคา API ต่อโทเค็นจะแสดงให้เห็นว่าการโฮสต์ด้วยตนเองช่วยประหยัดเงินได้จริงหรือไม่ คำตอบมักจะขึ้นอยู่กับการทำให้ฮาร์ดแวร์ยุ่งตลอดเวลา
การโฮสต์ด้วยตนเองหมายถึงการดาวน์โหลดโมเดลแบบเปิด เช่น Llama, Mistral, Qwen หรือตัวแปร Gemma และให้บริการบนโครงสร้างพื้นฐานที่คุณควบคุม นั่นอาจเป็นเซิร์ฟเวอร์ที่คุณเป็นเจ้าของหรือ GPU ที่คุณเช่าในระบบคลาวด์ ตุ้มน้ำหนักอาจให้ดาวน์โหลดฟรี แต่การเรียกใช้ตุ้มน้ำหนักนั้นไม่ได้เป็นเช่นนั้น ต้นทุนรวมในการเป็นเจ้าของมีหลายชั้น: - **ฮาร์ดแวร์** GPU ที่ซื้อมาจะเสื่อมค่าลงในช่วงไม่กี่ปี GPU ที่เช่าจะถูกเรียกเก็บเงินเป็นรายชั่วโมง ไม่ว่าจะยุ่งหรือไม่ได้ใช้งานก็ตาม ฮาร์ดแวร์ที่เป็นเจ้าของยังต้องการพลังงาน การระบายความร้อน พื้นที่แร็ค และระบบเครือข่าย - **ซอฟต์แวร์และการดำเนินงาน** คุณต้องมีเซิร์ฟเวอร์การอนุมาน เช่น vLLM, SGLang หรือ NVIDIA TensorRT-LLM นอกจากนี้คุณยังต้องมีการปรับสมดุลโหลด การตรวจสอบ การบันทึก การเพิ่มความปลอดภัย และความซ้ำซ้อน เพื่อให้โหนดที่ล้มเหลวหนึ่งโหนดไม่ทำให้บริการหยุดทำงาน - **พนักงาน** ซึ่งมักเป็นต้นทุนแอบแฝงที่ใหญ่ที่สุด: วิศวกรที่ปรับใช้ ปรับแต่ง แพตช์ และอัปเกรดสแต็ก รวมถึงเจ้าหน้าที่ที่โทรติดต่อ - **อัปเกรด** มีรุ่นใหม่เข้ามาบ่อยๆ การโยกย้ายแต่ละครั้งหมายถึงการประเมินใหม่ ปรับแต่งใหม่ และบางครั้งการซื้อฮาร์ดแวร์ใหม่ การใช้งานเป็นตัวกำหนดผลลัพธ์ API จะเรียกเก็บเงินเฉพาะโทเค็นที่คุณใช้เท่านั้น GPU ที่โฮสต์เองมีค่าใช้จ่ายเท่ากันไม่ว่าจะให้บริการหนึ่งคำขอหรือนับพันก็ตาม ต้นทุนที่แท้จริงต่อโทเค็นคือต้นทุนรายเดือนทั้งหมดหารด้วยโทเค็นที่ให้บริการจริง คลัสเตอร์ที่ใช้งานน้อยอาจมีราคาต่อโทเค็นมากกว่า API มาก ในขณะที่คลัสเตอร์ที่โหลดอย่างต่อเนื่องอาจมีราคาน้อยกว่ามาก ความเข้าใจผิดสามประการเป็นเรื่องปกติ ประการแรกคือราคาเช่า GPU คูณชั่วโมงเท่ากับต้นทุน ซึ่งจะไม่สนใจพนักงานและเวลาว่าง ประการที่สองคือตุ้มน้ำหนักแบบเปิดหมายถึงอิสระ ประการที่สามคือการโฮสต์ด้วยตนเองจะมีความเป็นส่วนตัวมากขึ้นโดยอัตโนมัติ เซิร์ฟเวอร์ที่มีการรักษาความปลอดภัยไม่ดีอาจมีความเสี่ยงมากกว่าผู้ให้บริการที่มีการควบคุมที่ได้รับการตรวจสอบ มีเหตุผลที่ดีในการโฮสต์ด้วยตนเอง: - การควบคุมข้อมูลของคุณ - ต้นทุนที่คาดการณ์ได้ในปริมาณที่สูงและคงที่ - การปรับแต่งผ่านการปรับแต่งอย่างละเอียด - อิสระจากผู้ให้บริการที่เปลี่ยนแปลงหรือเลิกใช้โมเดล
บริษัทแห่งหนึ่งเช่า GPU เพื่อให้บริการแบบจำลองพารามิเตอร์ 7 หมื่นล้านสำหรับผู้ช่วยภายใน การรับส่งข้อมูลจะมาเฉพาะในช่วงเวลาทำการเท่านั้น ดังนั้น GPU จะไม่ได้ใช้งานเกือบทุกคืน และโทเค็นแต่ละรายการจะมีราคาสูงกว่า API ที่ถูกแทนที่
ธนาคารที่มีนโยบายภายในกำหนดให้ข้อมูลที่ละเอียดอ่อนต้องอยู่บนโครงสร้างพื้นฐาน ธนาคารจะควบคุมโมเดลแบบเปิดขนาดกลางที่โฮสต์เองในศูนย์ข้อมูลของตนเอง ยอมรับต้นทุนที่สูงกว่าเพื่อแลกกับการควบคุมนั้น
ไปป์ไลน์การจัดประเภทเอกสารที่ทำงานตลอดเวลาให้บริการโมเดลเชิงปริมาณขนาดเล็กบน GPU ตัวเดียวที่มีการแบทช์อย่างต่อเนื่อง ราคาต่อโทเค็นจบลงที่ต่ำกว่าอัตรา API มาก
งบประมาณเริ่มต้นสำหรับการเช่า GPU บนคลาวด์เท่านั้น ในภายหลังพบว่าจำเป็นต้องมีวิศวกรที่พร้อมให้ความช่วยเหลือเพื่อจัดการกับปัญหาการให้บริการขัดข้อง การตรวจสอบ แพตช์รักษาความปลอดภัย และการอัพเกรดโมเดล และค่าใช้จ่ายของพนักงานเกินกว่าค่าฮาร์ดแวร์
การคำนวณแบบโฮสต์เองดำเนินไปในทั้งสองทิศทาง โมเดลแบบเปิดมีความสามารถมากขึ้น และซอฟต์แวร์การระบุปริมาณและการให้บริการที่มีประสิทธิภาพช่วยให้ฮาร์ดแวร์ขนาดเล็กสามารถจัดการปริมาณงานที่เป็นประโยชน์ได้ ในขณะเดียวกัน ราคา API ก็ลดลง และบริการที่ได้รับการจัดการโฮสต์โมเดลแบบเปิดมากขึ้นโดยเสียค่าธรรมเนียมต่อโทเค็น ซึ่งช่วยขจัดภาระการดำเนินงานได้มาก สำหรับหลายๆ องค์กร รูปแบบที่น่าจะเป็นเป็นแบบไฮบริด ได้แก่ API สำหรับปริมาณงานที่มีปริมาณงานมากหรือน้อย และการโฮสต์ด้วยตนเองสำหรับปริมาณงานที่คงที่ ปริมาณสูง หรือมีความละเอียดอ่อน ถือว่าการตัดสินใจเป็นสิ่งที่ต้องทบทวนเป็นประจำ ไม่ใช่ทางเลือกเพียงครั้งเดียว รุ่นฮาร์ดแวร์ รุ่นวางจำหน่าย และราคาทั้งหมดจะเปลี่ยนแปลงภายในระยะเวลาการเสื่อมราคาโดยทั่วไป
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
ต้นทุนรวมในการเป็นเจ้าของ (TCO) ของ LLM ที่โฮสต์เองคือต้นทุนทั้งหมดในการรันโมเดล open-weight บนฮาร์ดแวร์ของคุณเองหรือที่เช่า ซึ่งรวมถึง GPU พลังงาน ระบบเครือข่าย ซอฟต์แวร์ เจ้าหน้าที่วิศวกรรม ความจุว่าง และการอัพเกรด ไม่ใช่แค่ราคาของ GPU เมื่อเปรียบเทียบกับราคา API ต่อโทเค็นจะแสดงให้เห็นว่าการโฮสต์ด้วยตนเองช่วยประหยัดเงินได้จริงหรือไม่ คำตอบมักจะขึ้นอยู่กับการทำให้ฮาร์ดแวร์ยุ่งตลอดเวลา
ที่ 16 บิต (2 ไบต์) ต่อพารามิเตอร์ 70 พันล้าน × 2 ไบต์จะมีขนาดประมาณ 140 GB นั่นคือมากกว่า GPU 80 GB ตัวเดียวก่อนที่จะเพิ่มหน่วยความจำแคช KV ใดๆ
เมื่อหารค่าใช้จ่ายรายเดือนทั้งหมด รวมถึงพนักงานและความจุที่ไม่ได้ใช้งาน ด้วยโทเค็นที่ให้บริการจริง คุณจะได้ตัวเลขที่คุณสามารถเปรียบเทียบกับราคา API ต่อโทเค็นได้โดยตรง
API จะเรียกเก็บเงินสำหรับการใช้งานเท่านั้น แต่ฮาร์ดแวร์และพนักงานที่โฮสต์เองจะมีราคาเท่ากันโดยไม่คำนึงถึงปริมาณงาน การใช้งานที่ต่ำจะกระจายต้นทุนคงที่เหล่านั้นไปยังโทเค็นที่น้อยลง
งบประมาณมักนับเฉพาะฮาร์ดแวร์เท่านั้น การใช้บริการอนุมานที่เชื่อถือได้ต้องใช้เวลาทางวิศวกรรม และแรงงานนั้นอาจเกินค่าบริการ GPU
แคช KV จะจัดเก็บคีย์ความสนใจและค่าสำหรับคำขอที่ใช้งานอยู่ บริบทที่ยาวขึ้นและผู้ใช้พร้อมกันมากขึ้นต้องการสิ่งนี้มากกว่านี้
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การเพิ่มประสิทธิภาพต้นทุนบนคลาวด์สำหรับปริมาณงาน ML
เทคนิค