คู่มือทางเทคนิค

ต้นทุนรวมในการเป็นเจ้าของ LLM ที่โฮสต์ด้วยตนเอง

ต้นทุนรวมในการเป็นเจ้าของ (TCO) ของ LLM ที่โฮสต์เอง คือค่าใช้จ่ายทั้งหมดในการรันโมเดลน้ำหนักเปิดบนฮาร์ดแวร์ของคุณเองหรือที่เช่า

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของต้นทุนรวมในการเป็นเจ้าของสำหรับ LLM ที่โฮสต์ด้วยตนเอง
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ซึ่งรวมถึง GPU พลังงาน ระบบเครือข่าย ซอฟต์แวร์ เจ้าหน้าที่วิศวกรรม ความจุว่าง และการอัพเกรด ไม่ใช่แค่ราคาของ GPU เมื่อเปรียบเทียบกับราคา API ต่อโทเค็นจะแสดงให้เห็นว่าการโฮสต์ด้วยตนเองช่วยประหยัดเงินได้จริงหรือไม่ คำตอบมักจะขึ้นอยู่กับการทำให้ฮาร์ดแวร์ยุ่งตลอดเวลา

เจาะลึก

การโฮสต์ด้วยตนเองหมายถึงการดาวน์โหลดโมเดลแบบเปิด เช่น Llama, Mistral, Qwen หรือตัวแปร Gemma และให้บริการบนโครงสร้างพื้นฐานที่คุณควบคุม นั่นอาจเป็นเซิร์ฟเวอร์ที่คุณเป็นเจ้าของหรือ GPU ที่คุณเช่าในระบบคลาวด์ ตุ้มน้ำหนักอาจให้ดาวน์โหลดฟรี แต่การเรียกใช้ตุ้มน้ำหนักนั้นไม่ได้เป็นเช่นนั้น ต้นทุนรวมในการเป็นเจ้าของมีหลายชั้น: - **ฮาร์ดแวร์** GPU ที่ซื้อมาจะเสื่อมค่าลงในช่วงไม่กี่ปี GPU ที่เช่าจะถูกเรียกเก็บเงินเป็นรายชั่วโมง ไม่ว่าจะยุ่งหรือไม่ได้ใช้งานก็ตาม ฮาร์ดแวร์ที่เป็นเจ้าของยังต้องการพลังงาน การระบายความร้อน พื้นที่แร็ค และระบบเครือข่าย - **ซอฟต์แวร์และการดำเนินงาน** คุณต้องมีเซิร์ฟเวอร์การอนุมาน เช่น vLLM, SGLang หรือ NVIDIA TensorRT-LLM นอกจากนี้คุณยังต้องมีการปรับสมดุลโหลด การตรวจสอบ การบันทึก การเพิ่มความปลอดภัย และความซ้ำซ้อน เพื่อให้โหนดที่ล้มเหลวหนึ่งโหนดไม่ทำให้บริการหยุดทำงาน - **พนักงาน** ซึ่งมักเป็นต้นทุนแอบแฝงที่ใหญ่ที่สุด: วิศวกรที่ปรับใช้ ปรับแต่ง แพตช์ และอัปเกรดสแต็ก รวมถึงเจ้าหน้าที่ที่โทรติดต่อ - **อัปเกรด** มีรุ่นใหม่เข้ามาบ่อยๆ การโยกย้ายแต่ละครั้งหมายถึงการประเมินใหม่ ปรับแต่งใหม่ และบางครั้งการซื้อฮาร์ดแวร์ใหม่ การใช้งานเป็นตัวกำหนดผลลัพธ์ API จะเรียกเก็บเงินเฉพาะโทเค็นที่คุณใช้เท่านั้น GPU ที่โฮสต์เองมีค่าใช้จ่ายเท่ากันไม่ว่าจะให้บริการหนึ่งคำขอหรือนับพันก็ตาม ต้นทุนที่แท้จริงต่อโทเค็นคือต้นทุนรายเดือนทั้งหมดหารด้วยโทเค็นที่ให้บริการจริง คลัสเตอร์ที่ใช้งานน้อยอาจมีราคาต่อโทเค็นมากกว่า API มาก ในขณะที่คลัสเตอร์ที่โหลดอย่างต่อเนื่องอาจมีราคาน้อยกว่ามาก ความเข้าใจผิดสามประการเป็นเรื่องปกติ ประการแรกคือราคาเช่า GPU คูณชั่วโมงเท่ากับต้นทุน ซึ่งจะไม่สนใจพนักงานและเวลาว่าง ประการที่สองคือตุ้มน้ำหนักแบบเปิดหมายถึงอิสระ ประการที่สามคือการโฮสต์ด้วยตนเองจะมีความเป็นส่วนตัวมากขึ้นโดยอัตโนมัติ เซิร์ฟเวอร์ที่มีการรักษาความปลอดภัยไม่ดีอาจมีความเสี่ยงมากกว่าผู้ให้บริการที่มีการควบคุมที่ได้รับการตรวจสอบ มีเหตุผลที่ดีในการโฮสต์ด้วยตนเอง: - การควบคุมข้อมูลของคุณ - ต้นทุนที่คาดการณ์ได้ในปริมาณที่สูงและคงที่ - การปรับแต่งผ่านการปรับแต่งอย่างละเอียด - อิสระจากผู้ให้บริการที่เปลี่ยนแปลงหรือเลิกใช้โมเดล

การใช้งานจริงในโลกแห่งความเป็นจริง

บริษัทแห่งหนึ่งเช่า GPU เพื่อให้บริการแบบจำลองพารามิเตอร์ 7 หมื่นล้านสำหรับผู้ช่วยภายใน การรับส่งข้อมูลจะมาเฉพาะในช่วงเวลาทำการเท่านั้น ดังนั้น GPU จะไม่ได้ใช้งานเกือบทุกคืน และโทเค็นแต่ละรายการจะมีราคาสูงกว่า API ที่ถูกแทนที่

ธนาคารที่มีนโยบายภายในกำหนดให้ข้อมูลที่ละเอียดอ่อนต้องอยู่บนโครงสร้างพื้นฐาน ธนาคารจะควบคุมโมเดลแบบเปิดขนาดกลางที่โฮสต์เองในศูนย์ข้อมูลของตนเอง ยอมรับต้นทุนที่สูงกว่าเพื่อแลกกับการควบคุมนั้น

ไปป์ไลน์การจัดประเภทเอกสารที่ทำงานตลอดเวลาให้บริการโมเดลเชิงปริมาณขนาดเล็กบน GPU ตัวเดียวที่มีการแบทช์อย่างต่อเนื่อง ราคาต่อโทเค็นจบลงที่ต่ำกว่าอัตรา API มาก

งบประมาณเริ่มต้นสำหรับการเช่า GPU บนคลาวด์เท่านั้น ในภายหลังพบว่าจำเป็นต้องมีวิศวกรที่พร้อมให้ความช่วยเหลือเพื่อจัดการกับปัญหาการให้บริการขัดข้อง การตรวจสอบ แพตช์รักษาความปลอดภัย และการอัพเกรดโมเดล และค่าใช้จ่ายของพนักงานเกินกว่าค่าฮาร์ดแวร์

อนาคตของต้นทุนรวมในการเป็นเจ้าของสำหรับ LLM ที่โฮสต์ด้วยตนเอง

การคำนวณแบบโฮสต์เองดำเนินไปในทั้งสองทิศทาง โมเดลแบบเปิดมีความสามารถมากขึ้น และซอฟต์แวร์การระบุปริมาณและการให้บริการที่มีประสิทธิภาพช่วยให้ฮาร์ดแวร์ขนาดเล็กสามารถจัดการปริมาณงานที่เป็นประโยชน์ได้ ในขณะเดียวกัน ราคา API ก็ลดลง และบริการที่ได้รับการจัดการโฮสต์โมเดลแบบเปิดมากขึ้นโดยเสียค่าธรรมเนียมต่อโทเค็น ซึ่งช่วยขจัดภาระการดำเนินงานได้มาก สำหรับหลายๆ องค์กร รูปแบบที่น่าจะเป็นเป็นแบบไฮบริด ได้แก่ API สำหรับปริมาณงานที่มีปริมาณงานมากหรือน้อย และการโฮสต์ด้วยตนเองสำหรับปริมาณงานที่คงที่ ปริมาณสูง หรือมีความละเอียดอ่อน ถือว่าการตัดสินใจเป็นสิ่งที่ต้องทบทวนเป็นประจำ ไม่ใช่ทางเลือกเพียงครั้งเดียว รุ่นฮาร์ดแวร์ รุ่นวางจำหน่าย และราคาทั้งหมดจะเปลี่ยนแปลงภายในระยะเวลาการเสื่อมราคาโดยทั่วไป

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบต้นทุนรวมในการเป็นเจ้าของสำหรับ LLM ที่โฮสต์ด้วยตนเอง

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

ต้นทุนรวมในการเป็นเจ้าของสำหรับ LLM ที่โฮสต์ด้วยตนเองคือเท่าใด

ต้นทุนรวมในการเป็นเจ้าของ (TCO) ของ LLM ที่โฮสต์เองคือต้นทุนทั้งหมดในการรันโมเดล open-weight บนฮาร์ดแวร์ของคุณเองหรือที่เช่า ซึ่งรวมถึง GPU พลังงาน ระบบเครือข่าย ซอฟต์แวร์ เจ้าหน้าที่วิศวกรรม ความจุว่าง และการอัพเกรด ไม่ใช่แค่ราคาของ GPU เมื่อเปรียบเทียบกับราคา API ต่อโทเค็นจะแสดงให้เห็นว่าการโฮสต์ด้วยตนเองช่วยประหยัดเงินได้จริงหรือไม่ คำตอบมักจะขึ้นอยู่กับการทำให้ฮาร์ดแวร์ยุ่งตลอดเวลา

น้ำหนักของแบบจำลอง 7 หมื่นล้านพารามิเตอร์ต้องใช้หน่วยความจำประมาณเท่าใดที่ความแม่นยำ 16 บิต

ที่ 16 บิต (2 ไบต์) ต่อพารามิเตอร์ 70 พันล้าน × 2 ไบต์จะมีขนาดประมาณ 140 GB นั่นคือมากกว่า GPU 80 GB ตัวเดียวก่อนที่จะเพิ่มหน่วยความจำแคช KV ใดๆ

คู่มือนี้กำหนดต้นทุนที่มีประสิทธิภาพต่อโทเค็นของการปรับใช้ที่โฮสต์เองอย่างไร

เมื่อหารค่าใช้จ่ายรายเดือนทั้งหมด รวมถึงพนักงานและความจุที่ไม่ได้ใช้งาน ด้วยโทเค็นที่ให้บริการจริง คุณจะได้ตัวเลขที่คุณสามารถเปรียบเทียบกับราคา API ต่อโทเค็นได้โดยตรง

เหตุใดคลัสเตอร์ที่โฮสต์เองซึ่งใช้งานน้อยจึงมีราคาต่อโทเค็นมากกว่า API

API จะเรียกเก็บเงินสำหรับการใช้งานเท่านั้น แต่ฮาร์ดแวร์และพนักงานที่โฮสต์เองจะมีราคาเท่ากันโดยไม่คำนึงถึงปริมาณงาน การใช้งานที่ต่ำจะกระจายต้นทุนคงที่เหล่านั้นไปยังโทเค็นที่น้อยลง

คู่มือนี้ระบุว่าค่าใช้จ่ายใดที่มักเป็นบรรทัดที่ซ่อนอยู่ที่ใหญ่ที่สุดในการโฮสต์ด้วยตนเอง

งบประมาณมักนับเฉพาะฮาร์ดแวร์เท่านั้น การใช้บริการอนุมานที่เชื่อถือได้ต้องใช้เวลาทางวิศวกรรม และแรงงานนั้นอาจเกินค่าบริการ GPU

นอกจากน้ำหนักของโมเดลแล้ว อะไรที่ใช้หน่วยความจำ GPU และเพิ่มขึ้นตามความยาวบริบทและจำนวนคำขอที่เกิดขึ้นพร้อมกัน

แคช KV จะจัดเก็บคีย์ความสนใจและค่าสำหรับคำขอที่ใช้งานอยู่ บริบทที่ยาวขึ้นและผู้ใช้พร้อมกันมากขึ้นต้องการสิ่งนี้มากกว่านี้

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

ต่อไปคำแนะนำต่อไป

การเพิ่มประสิทธิภาพต้นทุนบนคลาวด์สำหรับปริมาณงาน ML

เทคนิค

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →