คู่มือทางเทคนิค
การประมาณต้นทุน LLM API และงบประมาณโทเค็น
หากต้องการประมาณค่าใช้จ่าย LLM API ให้คูณโทเค็นที่แต่ละคำขอส่งและรับด้วยราคาต่อโทเค็นของผู้ให้บริการ จากนั้นปรับขนาดตามจำนวนคำขอที่คุณคาดหวัง
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
การดำเนินการนี้ก่อนการเปิดตัวจะช่วยป้องกันค่าใช้จ่ายที่ไม่คาดคิดและแสดงให้เห็นว่าฟีเจอร์สามารถกำหนดราคาอย่างมีกำไรได้หรือไม่ นอกจากนี้ยังแสดงให้เห็นว่าตัวเลือกการออกแบบใด เช่น ประวัติการสนทนาที่ยาวนาน ที่กระตุ้นการใช้จ่าย
เจาะลึก
LLM APIs เรียกเก็บเงินตามโทเค็น โทเค็นคือข้อความจำนวนหนึ่งโดยเฉลี่ยประมาณสี่ตัวอักษรหรือประมาณสามในสี่ของคำในภาษาอังกฤษ ภาษาและโค้ดอื่นๆ มักต้องการโทเค็นเพิ่มเติมเพื่อความหมายเดียวกัน และโทเค็นของผู้ให้บริการแต่ละรายจะนับต่างกันเล็กน้อย ราคาจะถูกเสนอต่อล้านโทเค็น โดยมีอัตราแยกสำหรับอินพุต (ทุกสิ่งที่คุณส่ง) และเอาต์พุต (ทุกสิ่งที่โมเดลสร้างขึ้น) โดยปกติผลผลิตจะมีราคาสูงกว่าอินพุตหลายเท่า การประมาณการที่เชื่อถือได้มีห้าขั้นตอน: 1. กำหนดแต่ละงานที่คุณลักษณะดำเนินการ 2. วัดโทเค็นต่อคำขอโดยใช้พรอมต์ตัวอย่างจริงและโทเค็นของผู้ให้บริการหรือจุดสิ้นสุดการนับโทเค็น นับพรอมต์ของระบบ เอกสารที่ดึงมา ประวัติการสนทนา การป้อนข้อมูลของผู้ใช้ และผลลัพธ์ที่คาดหวัง 3. ปริมาณโดยประมาณ: ผู้ใช้ที่ใช้งานอยู่คูณคำขอต่อผู้ใช้ต่อวัน 4. คูณโทเค็นตามราคาและปริมาณ 5. เพิ่มค่าใช้จ่ายสำหรับการลองใหม่ การโทรที่ล้มเหลว การรันการประเมิน และการเติบโต นี่คือตัวอย่างการทำงานโดยใช้ราคาสมมุติที่ 3 ดอลลาร์ต่อโทเค็นอินพุตหนึ่งล้านรายการ และ 15 ดอลลาร์ต่อโทเค็นเอาท์พุตหนึ่งล้านรายการ คำขอที่มีโทเค็นอินพุต 2,000 รายการมีค่าใช้จ่าย 0.006 ดอลลาร์สำหรับการป้อนข้อมูล โทเค็นเอาต์พุต 400 รายการมีราคาอีก 0.006 ดอลลาร์ ดังนั้นคำขอจึงมีราคา 0.012 ดอลลาร์ ที่คำขอ 10,000 คำขอต่อวัน นั่นคือ 120 ดอลลาร์ต่อวัน หรือประมาณ 3,600 ดอลลาร์ต่อเดือนในช่วง 30 วันก่อนค่าใช้จ่าย ข้อผิดพลาดในการประมาณค่าที่ใหญ่ที่สุดมาจากสิ่งที่ผู้คนลืม: - แอปพลิเคชันแชทส่วนใหญ่จะส่งการสนทนาซ้ำทุกครั้ง ข้อมูลจะเพิ่มขึ้นตามแต่ละข้อความ ดังนั้นการสนทนายาวๆ หนึ่งครั้งจึงมีค่าใช้จ่ายมากกว่าการสนทนาสั้นๆ หลายๆ ครั้ง - คุณสมบัติเสริมการดึงข้อมูลสามารถเพิ่มโทเค็นบริบทนับพันให้กับการโทรแต่ละครั้ง - โมเดลการใช้เหตุผลจะสร้างโทเค็นการคิดภายในซึ่งจะถูกเรียกเก็บเงินเป็นเอาท์พุตแม้ว่าจะไม่ได้แสดงก็ตาม - ตัวแทนทำการเรียกร้องหลายครั้งสำหรับการกระทำของผู้ใช้แต่ละคน ส่วนลดเปลี่ยนคณิตศาสตร์ การแคชพร้อมท์จะลดราคาของคำนำหน้าซ้ำ และ API แบบแบตช์จะลดราคาที่สามารถรอได้ ตรวจสอบหน้าราคาปัจจุบันของผู้ให้บริการเสมอ เนื่องจากอัตรามีการเปลี่ยนแปลงบ่อยครั้ง
การใช้งานจริงในโลกแห่งความเป็นจริง
ทีมที่สร้างคุณลักษณะการร่างอีเมลจะเรียกใช้ชุดการทดสอบจริงผ่านโทเค็นไนเซอร์ โดยพบว่าพรอมต์ของระบบประกอบด้วยโทเค็นอินพุตมากกว่าครึ่งหนึ่ง ดังนั้นจึงทำให้พรอมต์สั้นลงก่อนที่จะเปิดใช้งาน
การคาดการณ์แชทบอทจะถือว่ามีการแจ้งเตือนสั้นๆ หนึ่งรายการต่อเทิร์น และจะแยกออกจากกันเมื่อทีมสังเกตเห็นว่าทุกเทิร์นจะส่งการสนทนาทั้งหมดอีกครั้ง ประวัติการคาดการณ์ที่แก้ไขแล้วและสรุปการเลี้ยวที่เก่ากว่า
งานกลางคืนที่แยกประเภทตั๋วสนับสนุนนับหมื่นรายการจะย้ายไปยัง API แบบแบตช์ที่มีส่วนลดของผู้ให้บริการ ไม่จำเป็นต้องมีผลลัพธ์ใดๆ ในทันที ดังนั้นความล่าช้าจึงไม่มีค่าใช้จ่ายใดๆ
การจัดทำงบประมาณเริ่มต้นสำหรับโมเดลการใช้เหตุผลจะเรียนรู้ว่าโทเค็นการให้เหตุผลที่ซ่อนอยู่จะถูกเรียกเก็บเงินเป็นเอาต์พุต การประมาณการนับเฉพาะคำตอบที่มองเห็นได้ ดังนั้นจึงต้องเพิ่มต้นทุนต่อคำขอหลายครั้ง
อนาคตของการประมาณต้นทุน LLM API และงบประมาณโทเค็น
โดยทั่วไปราคาต่อโทเค็นจะลดลงตามระดับความสามารถที่กำหนด ผู้ให้บริการจะเพิ่มตัวเลือกการกำหนดราคาอย่างต่อเนื่อง เช่น ส่วนลดแคช อัตราแบทช์ และระดับบริการแบบแบ่งระดับ นั่นทำให้ LLM ใช้ราคาถูกลงแต่การประมาณค่าซับซ้อนมากขึ้น เนื่องจากการตั้งค่าที่ถูกที่สุดขึ้นอยู่กับความต้องการด้านเวลาแฝงและโครงสร้างที่รวดเร็ว ปริมาณงานการใช้เหตุผลและตัวแทนกำลังเปลี่ยนต้นทุนหลักจากความยาวอินพุตเป็นโทเค็นเอาต์พุตและจำนวนการโทร ดังนั้นการคาดการณ์ที่สร้างขึ้นบนสมมติฐานการแชทธรรมดาจะล้าสมัยอย่างรวดเร็ว การตรวจสอบต้นทุนมีแนวโน้มที่จะกลายเป็นส่วนมาตรฐานของเครื่องมือ LLM การประมาณการจะได้รับการแก้ไขอย่างต่อเนื่องจากการใช้งานที่บันทึกไว้ แทนที่จะทำเพียงครั้งเดียวก่อนการเปิดตัว
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Estimating LLM API Costs and Token Budgets quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การประมาณต้นทุน LLM API และงบประมาณโทเค็นคืออะไร
หากต้องการประมาณค่าใช้จ่าย LLM API ให้คูณโทเค็นที่แต่ละคำขอส่งและรับด้วยราคาต่อโทเค็นของผู้ให้บริการ จากนั้นปรับขนาดตามจำนวนคำขอที่คุณคาดหวัง การดำเนินการนี้ก่อนการเปิดตัวจะช่วยป้องกันค่าใช้จ่ายที่ไม่คาดคิดและแสดงให้เห็นว่าฟีเจอร์สามารถกำหนดราคาอย่างมีกำไรได้หรือไม่ นอกจากนี้ยังแสดงให้เห็นว่าตัวเลือกการออกแบบใด เช่น ประวัติการสนทนาที่ยาวนาน ที่กระตุ้นการใช้จ่าย
ในภาษาอังกฤษ โทเค็นหนึ่งรายการแสดงถึงข้อความโดยเฉลี่ยเท่าใด
กฎทั่วไปคือประมาณสี่อักขระหรือ 0.75 คำต่อโทเค็นภาษาอังกฤษ ภาษาและรหัสอื่นๆ มักใช้โทเค็นมากกว่าเพื่อความหมายเดียวกัน
โทเค็นประเภทใดที่โดยปกติแล้วผู้ให้บริการ LLM API จะมีราคาสูงกว่า
ผู้ให้บริการจะเรียกเก็บเงินแยกต่างหากสำหรับอินพุตและเอาต์พุต และโทเค็นเอาต์พุตมักจะมีราคาสูงกว่าโทเค็นอินพุตหลายเท่า
ที่ราคาสมมุติที่ 3 ดอลลาร์ต่อโทเค็นอินพุต 1 ล้านโทเค็น โทเค็นอินพุต 2,000 อันมีราคาเท่าใด
2,000 / 1,000,000 × 3 ดอลลาร์ = 0.006 ดอลลาร์ การหารโทเค็นด้วยหนึ่งล้านก่อนคูณด้วยราคาเป็นขั้นตอนหลักในการประมาณค่า
เหตุใดการสนทนาแชทจึงมีราคาแพงขึ้นเมื่อใช้เวลานานขึ้น
แอปพลิเคชันแชทส่วนใหญ่จะส่งการสนทนาทั้งหมดอีกครั้งในแต่ละรอบ ดังนั้นข้อมูลจะเพิ่มขึ้นตามทุกข้อความ และข้อมูลทั้งหมดจะเพิ่มขึ้นโดยประมาณตามความยาวการสนทนากำลังสอง
โดยทั่วไปแล้วโทเค็นการคิดภายในของแบบจำลองการให้เหตุผลจะถูกเรียกเก็บเงินอย่างไร
โทเค็นการใช้เหตุผลถูกสร้างขึ้นโดยโมเดล ดังนั้นจึงถูกเรียกเก็บเงินเป็นเอาต์พุต แม้ว่าผู้ใช้อาจไม่เคยเห็นก็ตาม การปล่อยทิ้งไว้อาจทำให้ประเมินต้นทุนต่ำไปมาก
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้