คู่มือทางเทคนิค

การประมาณต้นทุน LLM API และงบประมาณโทเค็น

หากต้องการประมาณค่าใช้จ่าย LLM API ให้คูณโทเค็นที่แต่ละคำขอส่งและรับด้วยราคาต่อโทเค็นของผู้ให้บริการ จากนั้นปรับขนาดตามจำนวนคำขอที่คุณคาดหวัง

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการประมาณต้นทุน LLM API และงบประมาณโทเค็น
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

การดำเนินการนี้ก่อนการเปิดตัวจะช่วยป้องกันค่าใช้จ่ายที่ไม่คาดคิดและแสดงให้เห็นว่าฟีเจอร์สามารถกำหนดราคาอย่างมีกำไรได้หรือไม่ นอกจากนี้ยังแสดงให้เห็นว่าตัวเลือกการออกแบบใด เช่น ประวัติการสนทนาที่ยาวนาน ที่กระตุ้นการใช้จ่าย

เจาะลึก

LLM APIs เรียกเก็บเงินตามโทเค็น โทเค็นคือข้อความจำนวนหนึ่งโดยเฉลี่ยประมาณสี่ตัวอักษรหรือประมาณสามในสี่ของคำในภาษาอังกฤษ ภาษาและโค้ดอื่นๆ มักต้องการโทเค็นเพิ่มเติมเพื่อความหมายเดียวกัน และโทเค็นของผู้ให้บริการแต่ละรายจะนับต่างกันเล็กน้อย ราคาจะถูกเสนอต่อล้านโทเค็น โดยมีอัตราแยกสำหรับอินพุต (ทุกสิ่งที่คุณส่ง) และเอาต์พุต (ทุกสิ่งที่โมเดลสร้างขึ้น) โดยปกติผลผลิตจะมีราคาสูงกว่าอินพุตหลายเท่า การประมาณการที่เชื่อถือได้มีห้าขั้นตอน: 1. กำหนดแต่ละงานที่คุณลักษณะดำเนินการ 2. วัดโทเค็นต่อคำขอโดยใช้พรอมต์ตัวอย่างจริงและโทเค็นของผู้ให้บริการหรือจุดสิ้นสุดการนับโทเค็น นับพรอมต์ของระบบ เอกสารที่ดึงมา ประวัติการสนทนา การป้อนข้อมูลของผู้ใช้ และผลลัพธ์ที่คาดหวัง 3. ปริมาณโดยประมาณ: ผู้ใช้ที่ใช้งานอยู่คูณคำขอต่อผู้ใช้ต่อวัน 4. คูณโทเค็นตามราคาและปริมาณ 5. เพิ่มค่าใช้จ่ายสำหรับการลองใหม่ การโทรที่ล้มเหลว การรันการประเมิน และการเติบโต นี่คือตัวอย่างการทำงานโดยใช้ราคาสมมุติที่ 3 ดอลลาร์ต่อโทเค็นอินพุตหนึ่งล้านรายการ และ 15 ดอลลาร์ต่อโทเค็นเอาท์พุตหนึ่งล้านรายการ คำขอที่มีโทเค็นอินพุต 2,000 รายการมีค่าใช้จ่าย 0.006 ดอลลาร์สำหรับการป้อนข้อมูล โทเค็นเอาต์พุต 400 รายการมีราคาอีก 0.006 ดอลลาร์ ดังนั้นคำขอจึงมีราคา 0.012 ดอลลาร์ ที่คำขอ 10,000 คำขอต่อวัน นั่นคือ 120 ดอลลาร์ต่อวัน หรือประมาณ 3,600 ดอลลาร์ต่อเดือนในช่วง 30 วันก่อนค่าใช้จ่าย ข้อผิดพลาดในการประมาณค่าที่ใหญ่ที่สุดมาจากสิ่งที่ผู้คนลืม: - แอปพลิเคชันแชทส่วนใหญ่จะส่งการสนทนาซ้ำทุกครั้ง ข้อมูลจะเพิ่มขึ้นตามแต่ละข้อความ ดังนั้นการสนทนายาวๆ หนึ่งครั้งจึงมีค่าใช้จ่ายมากกว่าการสนทนาสั้นๆ หลายๆ ครั้ง - คุณสมบัติเสริมการดึงข้อมูลสามารถเพิ่มโทเค็นบริบทนับพันให้กับการโทรแต่ละครั้ง - โมเดลการใช้เหตุผลจะสร้างโทเค็นการคิดภายในซึ่งจะถูกเรียกเก็บเงินเป็นเอาท์พุตแม้ว่าจะไม่ได้แสดงก็ตาม - ตัวแทนทำการเรียกร้องหลายครั้งสำหรับการกระทำของผู้ใช้แต่ละคน ส่วนลดเปลี่ยนคณิตศาสตร์ การแคชพร้อมท์จะลดราคาของคำนำหน้าซ้ำ และ API แบบแบตช์จะลดราคาที่สามารถรอได้ ตรวจสอบหน้าราคาปัจจุบันของผู้ให้บริการเสมอ เนื่องจากอัตรามีการเปลี่ยนแปลงบ่อยครั้ง

การใช้งานจริงในโลกแห่งความเป็นจริง

ทีมที่สร้างคุณลักษณะการร่างอีเมลจะเรียกใช้ชุดการทดสอบจริงผ่านโทเค็นไนเซอร์ โดยพบว่าพรอมต์ของระบบประกอบด้วยโทเค็นอินพุตมากกว่าครึ่งหนึ่ง ดังนั้นจึงทำให้พรอมต์สั้นลงก่อนที่จะเปิดใช้งาน

การคาดการณ์แชทบอทจะถือว่ามีการแจ้งเตือนสั้นๆ หนึ่งรายการต่อเทิร์น และจะแยกออกจากกันเมื่อทีมสังเกตเห็นว่าทุกเทิร์นจะส่งการสนทนาทั้งหมดอีกครั้ง ประวัติการคาดการณ์ที่แก้ไขแล้วและสรุปการเลี้ยวที่เก่ากว่า

งานกลางคืนที่แยกประเภทตั๋วสนับสนุนนับหมื่นรายการจะย้ายไปยัง API แบบแบตช์ที่มีส่วนลดของผู้ให้บริการ ไม่จำเป็นต้องมีผลลัพธ์ใดๆ ในทันที ดังนั้นความล่าช้าจึงไม่มีค่าใช้จ่ายใดๆ

การจัดทำงบประมาณเริ่มต้นสำหรับโมเดลการใช้เหตุผลจะเรียนรู้ว่าโทเค็นการให้เหตุผลที่ซ่อนอยู่จะถูกเรียกเก็บเงินเป็นเอาต์พุต การประมาณการนับเฉพาะคำตอบที่มองเห็นได้ ดังนั้นจึงต้องเพิ่มต้นทุนต่อคำขอหลายครั้ง

อนาคตของการประมาณต้นทุน LLM API และงบประมาณโทเค็น

โดยทั่วไปราคาต่อโทเค็นจะลดลงตามระดับความสามารถที่กำหนด ผู้ให้บริการจะเพิ่มตัวเลือกการกำหนดราคาอย่างต่อเนื่อง เช่น ส่วนลดแคช อัตราแบทช์ และระดับบริการแบบแบ่งระดับ นั่นทำให้ LLM ใช้ราคาถูกลงแต่การประมาณค่าซับซ้อนมากขึ้น เนื่องจากการตั้งค่าที่ถูกที่สุดขึ้นอยู่กับความต้องการด้านเวลาแฝงและโครงสร้างที่รวดเร็ว ปริมาณงานการใช้เหตุผลและตัวแทนกำลังเปลี่ยนต้นทุนหลักจากความยาวอินพุตเป็นโทเค็นเอาต์พุตและจำนวนการโทร ดังนั้นการคาดการณ์ที่สร้างขึ้นบนสมมติฐานการแชทธรรมดาจะล้าสมัยอย่างรวดเร็ว การตรวจสอบต้นทุนมีแนวโน้มที่จะกลายเป็นส่วนมาตรฐานของเครื่องมือ LLM การประมาณการจะได้รับการแก้ไขอย่างต่อเนื่องจากการใช้งานที่บันทึกไว้ แทนที่จะทำเพียงครั้งเดียวก่อนการเปิดตัว

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Estimating LLM API Costs and Token Budgets quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การประมาณต้นทุน LLM API และงบประมาณโทเค็นคืออะไร

หากต้องการประมาณค่าใช้จ่าย LLM API ให้คูณโทเค็นที่แต่ละคำขอส่งและรับด้วยราคาต่อโทเค็นของผู้ให้บริการ จากนั้นปรับขนาดตามจำนวนคำขอที่คุณคาดหวัง การดำเนินการนี้ก่อนการเปิดตัวจะช่วยป้องกันค่าใช้จ่ายที่ไม่คาดคิดและแสดงให้เห็นว่าฟีเจอร์สามารถกำหนดราคาอย่างมีกำไรได้หรือไม่ นอกจากนี้ยังแสดงให้เห็นว่าตัวเลือกการออกแบบใด เช่น ประวัติการสนทนาที่ยาวนาน ที่กระตุ้นการใช้จ่าย

ในภาษาอังกฤษ โทเค็นหนึ่งรายการแสดงถึงข้อความโดยเฉลี่ยเท่าใด

กฎทั่วไปคือประมาณสี่อักขระหรือ 0.75 คำต่อโทเค็นภาษาอังกฤษ ภาษาและรหัสอื่นๆ มักใช้โทเค็นมากกว่าเพื่อความหมายเดียวกัน

โทเค็นประเภทใดที่โดยปกติแล้วผู้ให้บริการ LLM API จะมีราคาสูงกว่า

ผู้ให้บริการจะเรียกเก็บเงินแยกต่างหากสำหรับอินพุตและเอาต์พุต และโทเค็นเอาต์พุตมักจะมีราคาสูงกว่าโทเค็นอินพุตหลายเท่า

ที่ราคาสมมุติที่ 3 ดอลลาร์ต่อโทเค็นอินพุต 1 ล้านโทเค็น โทเค็นอินพุต 2,000 อันมีราคาเท่าใด

2,000 / 1,000,000 × 3 ดอลลาร์ = 0.006 ดอลลาร์ การหารโทเค็นด้วยหนึ่งล้านก่อนคูณด้วยราคาเป็นขั้นตอนหลักในการประมาณค่า

เหตุใดการสนทนาแชทจึงมีราคาแพงขึ้นเมื่อใช้เวลานานขึ้น

แอปพลิเคชันแชทส่วนใหญ่จะส่งการสนทนาทั้งหมดอีกครั้งในแต่ละรอบ ดังนั้นข้อมูลจะเพิ่มขึ้นตามทุกข้อความ และข้อมูลทั้งหมดจะเพิ่มขึ้นโดยประมาณตามความยาวการสนทนากำลังสอง

โดยทั่วไปแล้วโทเค็นการคิดภายในของแบบจำลองการให้เหตุผลจะถูกเรียกเก็บเงินอย่างไร

โทเค็นการใช้เหตุผลถูกสร้างขึ้นโดยโมเดล ดังนั้นจึงถูกเรียกเก็บเงินเป็นเอาต์พุต แม้ว่าผู้ใช้อาจไม่เคยเห็นก็ตาม การปล่อยทิ้งไว้อาจทำให้ประเมินต้นทุนต่ำไปมาก

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →