แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

ต้นทุนรวมในการเป็นเจ้าของแบบทดสอบ LLM ที่โฮสต์ด้วยตนเอง

ทดสอบว่าอะไรเป็นตัวขับเคลื่อนต้นทุนที่แท้จริงของ LLM ที่โฮสต์เอง: คณิตศาสตร์ของหน่วยความจำ GPU การใช้งาน การจัดพนักงาน และการคุ้มทุนเทียบกับราคา API ต่อโทเค็น

คำถาม 1 ของ 8

น้ำหนักของแบบจำลอง 7 หมื่นล้านพารามิเตอร์ต้องใช้หน่วยความจำประมาณเท่าใดที่ความแม่นยำ 16 บิต

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. น้ำหนักของแบบจำลอง 7 หมื่นล้านพารามิเตอร์ต้องใช้หน่วยความจำประมาณเท่าใดที่ความแม่นยำ 16 บิต
    • ประมาณ 140GB
    • ประมาณ 35GB
    • ประมาณ 70GB
    • ประมาณ 560GB
  2. คู่มือนี้กำหนดต้นทุนที่มีประสิทธิภาพต่อโทเค็นของการปรับใช้ที่โฮสต์เองอย่างไร
    • ราคาเช่า GPU ต่อชั่วโมงหารด้วยจำนวนพารามิเตอร์ของรุ่น
    • ราคาปลีกของผู้ให้บริการ API ลบด้วยส่วนลดคงที่
    • ค่าใช้จ่ายรายเดือนทั้งหมดหารด้วยโทเค็นที่ให้บริการจริง
    • ราคาซื้อฮาร์ดแวร์หารด้วยจำนวนผู้ใช้
  3. เหตุใดคลัสเตอร์ที่โฮสต์เองซึ่งใช้งานน้อยจึงมีราคาต่อโทเค็นมากกว่า API
    • โมเดลที่โฮสต์ด้วยตนเองจะให้คำตอบที่ยาวขึ้น
    • GPU มีราคาเท่ากันไม่ว่าจะไม่ได้ใช้งานหรือไม่ว่าง ดังนั้นโทเค็นจำนวนน้อยลงจึงแชร์ต้นทุนคงที่
    • ใบอนุญาตแบบ Open-weight จะเรียกเก็บค่าธรรมเนียมต่อโทเค็น
    • API ได้รับเงินอุดหนุนจากรัฐบาล
  4. คู่มือนี้ระบุว่าค่าใช้จ่ายใดที่มักเป็นบรรทัดที่ซ่อนอยู่ที่ใหญ่ที่สุดในการโฮสต์ด้วยตนเอง
    • ค่าธรรมเนียมการดาวน์โหลดโมเดล
    • ใบอนุญาต Tokenizer
    • ไฟฟ้าสำหรับแล็ปท็อป
    • พนักงานที่ปรับใช้ ปรับแต่ง แพตช์ อัปเกรด และคอยติดตามสแต็ก
  5. นอกจากน้ำหนักของโมเดลแล้ว อะไรที่ใช้หน่วยความจำ GPU และเพิ่มขึ้นตามความยาวบริบทและจำนวนคำขอที่เกิดขึ้นพร้อมกัน
    • คำศัพท์โทเค็น
    • โหลดบาลานเซอร์
    • แคช KV
    • ไฟล์ลิขสิทธิ์รุ่น
  6. เหตุใดจึงมีความเข้าใจผิดว่าการโฮสต์ด้วยตนเองนั้นมีความเป็นส่วนตัวมากกว่าโดยอัตโนมัติ
    • เซิร์ฟเวอร์ที่โฮสต์ด้วยตนเองที่มีความปลอดภัยต่ำอาจมีความเสี่ยงมากกว่าผู้ให้บริการที่มีการควบคุมที่ได้รับการตรวจสอบ
    • โมเดล Open Weight ส่งข้อมูลกลับไปยังผู้สร้าง
    • API จะไม่จัดเก็บข้อมูลใดๆ
    • กฎหมายความเป็นส่วนตัวห้ามการโฮสต์ด้วยตนเอง
  7. จุดประสงค์ของการรวมชุดอย่างต่อเนื่องในเซิร์ฟเวอร์ เช่น vLLM คืออะไร
    • เพื่อบีบอัดน้ำหนักโมเดลเป็น 4 บิต
    • เพื่อแปลข้อความแจ้งเป็นภาษาอื่น
    • เพื่อดาวน์โหลดโมเดลรุ่นใหม่โดยอัตโนมัติ
    • เพื่อให้ GPU ไม่ว่างโดยการประมวลผลคำขอจำนวนมากร่วมกัน
  8. คู่มือนี้อธิบายว่าเป็นรูปแบบที่เป็นไปได้สำหรับหลายองค์กรอย่างไร
    • ย้ายทุกภาระงานไปสู่การโฮสต์ด้วยตนเอง
    • ไฮบริด: API สำหรับปริมาณงานที่แหลมคมหรือระดับแนวหน้า การโฮสต์ด้วยตนเองสำหรับปริมาณงานที่คงที่ ปริมาณสูง หรือละเอียดอ่อน
    • ใช้เฉพาะ API ตลอดไป
    • เลือกครั้งเดียวและไม่เคยทบทวนการตัดสินใจอีกเลย