ต่อไปคำแนะนำต่อไป
การประมาณต้นทุน LLM API และงบประมาณโทเค็น
เทคนิค
คู่มือทางเทคนิค
LLM API คิดค่าบริการต่อโทเค็น ซึ่งเป็นข้อความส่วนหนึ่งที่มีขนาดประมาณสามในสี่ของคำภาษาอังกฤษ
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
โทเค็นอินพุตที่คุณส่งและโทเค็นเอาต์พุตที่โมเดลสร้างขึ้นมีอัตราแยกกัน และโดยปกติเอาต์พุตจะมีราคาสูงกว่าหลายเท่า หากต้องการประมาณค่าใช้จ่าย ให้นับโทเค็นด้วยโทเค็นของผู้ให้บริการหรือนับจุดสิ้นสุด แล้วคูณแต่ละด้านด้วยอัตราต่อล้าน รวมโทเค็นที่ซ่อนอยู่ เช่น ข้อความเตือนของระบบ ประวัติการสนทนา และการให้เหตุผล
โมเดลไม่อ่านอักขระหรือคำศัพท์โดยตรง โทเค็นไนเซอร์จะแยกข้อความออกเป็นโทเค็น ซึ่งเป็นลำดับอักขระทั่วไปที่เรียนรู้จากข้อมูลการฝึก กฎทั่วไปสำหรับภาษาอังกฤษคือประมาณสี่อักขระหรือสามในสี่ของคำต่อโทเค็น นั่นทำให้มี 1,000 คำที่ประมาณ 1,300 ถึง 1,400 โทเค็น รหัส ตัวเลข ชื่อที่ไม่ธรรมดา และภาษาที่ไม่ใช่ภาษาอังกฤษจำนวนมากใช้โทเค็นมากกว่าต่อคำ แต่ละตระกูลโมเดลมีโทเค็นไนเซอร์ของตัวเอง ดังนั้นข้อความเดียวกันจึงสามารถนับจำนวนที่แตกต่างกันจากผู้ให้บริการที่แตกต่างกัน โดยปกติราคาจะถูกเสนอต่อหนึ่งล้านโทเค็น โดยมีอัตราอินพุตและเอาท์พุตแยกกัน โทเค็นเอาท์พุตมีราคาสูงกว่าเนื่องจากโมเดลสร้างขึ้นทีละรายการ ในขณะที่สามารถประมวลผลโทเค็นอินพุตแบบขนานได้ โดยทั่วไปเอาต์พุตจะมีราคาหลายเท่าของอัตราอินพุต ซึ่งมักจะอยู่ระหว่างสี่ถึงแปดเท่า แม้ว่าอัตราส่วนจะแตกต่างกันไปตามรุ่น นี่คือตัวอย่างการทำงานที่มีราคาที่สร้างขึ้น: อินพุตที่ 3 ดอลลาร์ต่อล้านโทเค็น และเอาต์พุตที่ 15 ดอลลาร์ต่อล้าน งานส่งโทเค็นอินพุต 6,000 โทเค็น (พรอมต์ของระบบ คำแนะนำ และเอกสาร) และรับโทเค็นเอาต์พุตกลับ 800 โทเค็น - อินพุต: 6,000 x 3 ดอลลาร์ / 1,000,000 = 0.018 ดอลลาร์ - เอาท์พุต: 800 x 15 ดอลลาร์ / 1,000,000 = 0.012 ดอลลาร์ - รวม: 0.03 ดอลลาร์ต่องาน มี 10,000 งานต่อวัน ซึ่งคิดเป็นเงินประมาณ 300 ดอลลาร์ต่อวัน ค่าใช้จ่ายจริงมักจะทำให้ผู้คนประหลาดใจ ด้วยเหตุผลที่สามารถคาดเดาได้: - แอปพลิเคชันแชทจะส่งการสนทนาทั้งหมดอีกครั้งในทุก ๆ รอบ ดังนั้นข้อมูลจะเพิ่มขึ้นตามแต่ละข้อความ - โมเดลการใช้เหตุผลจะสร้างโทเค็นการคิดภายในซึ่งเรียกเก็บเงินเป็นเอาท์พุต แม้ว่าจะไม่ได้แสดงทั้งหมดก็ตาม - คำจำกัดความของเครื่องมือ เอกสารที่ดึงมา และรูปภาพทั้งหมดจะนับเป็นอินพุต - การลองซ้ำและการโทรที่ล้มเหลวก็มีค่าใช้จ่ายเช่นกัน ความเข้าใจผิดที่พบบ่อยมีสามประการ: โทเค็นมีคำเท่ากัน การเติมหน้าต่างบริบทของโมเดลนั้นฟรี และโมเดลที่มีราคาต่อโทเค็นต่ำที่สุดนั้นจะถูกที่สุดต่องานเสมอ โมเดลที่แข็งแกร่งกว่าซึ่งเสร็จสิ้นโดยใช้ความพยายามน้อยลงอาจทำให้ต้นทุนโดยรวมลดลง
นักพัฒนาซอฟต์แวร์ใช้ไลบรารี tiktoken โอเพ่นซอร์สของ OpenAI เพื่อนับบทความสนับสนุน 3,000 คำก่อนที่จะส่ง มีโทเค็นประมาณ 4,000 เหรียญ และเธอตั้งค่าการแจ้งเตือนงบประมาณให้ตรงกัน
ทีมแชทบอทพบว่าการเรียกเก็บเงินส่วนใหญ่มาจากการส่งพรอมต์ระบบ 2,000 โทเค็นอีกครั้งและประวัติการแชททั้งหมดในทุกเทิร์น ลดต้นทุนโดยการสรุปเทิร์นเก่าๆ และใช้การแคชทันที
บริษัทที่ประมวลผลคำอธิบายผลิตภัณฑ์ 50,000 รายการในชั่วข้ามคืนจะย้ายงานไปยัง Batch API ของผู้ให้บริการ API แบบแบตช์มีค่าใช้จ่ายน้อยกว่า และผลลัพธ์จะกลับมาภายในไม่กี่ชั่วโมงแทนที่จะเป็นวินาที
ทีมงานแปลเนื้อหาเป็นภาษาฮินดีและงบประมาณภาษาญี่ปุ่นต่อหน้ามากกว่าภาษาอังกฤษ สำหรับโทเค็นทั่วไป ความหมายเดียวกันมักจะใช้โทเค็นมากกว่าในภาษาเหล่านั้น
ราคาต่อโทเค็นสำหรับระดับความสามารถที่กำหนดได้ลดลงอย่างมากในช่วงไม่กี่ปีที่ผ่านมา การใช้จ่ายโดยรวมมักจะเพิ่มขึ้น เนื่องจากแอปพลิเคชันใช้บริบทที่ยาวขึ้น เจ้าหน้าที่ทำการเรียกหลายครั้ง และแบบจำลองการให้เหตุผลจะให้ผลลัพธ์ที่มากขึ้น ราคายังมีความหลากหลายมากขึ้น โดยมีอัตราแยกต่างหากสำหรับอินพุตที่แคชไว้ คำขอตามบริบทแบบยาว งานแบตช์ และการใช้เหตุผล นั่นทำให้การวัดการใช้งานจริงต่องานมีความสำคัญมากกว่าการเปรียบเทียบราคาพาดหัว เครื่องมือด้านต้นทุน เช่น งบประมาณ การติดตามต้นทุนต่อคุณลักษณะ และการกำหนดเส้นทางแบบจำลองอัตโนมัติ มีแนวโน้มว่าจะกลายเป็นส่วนมาตรฐานของแอปพลิเคชัน LLM
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
LLM API คิดค่าบริการต่อโทเค็น ซึ่งเป็นข้อความส่วนหนึ่งที่มีขนาดประมาณสามในสี่ของคำภาษาอังกฤษ โทเค็นอินพุตที่คุณส่งและโทเค็นเอาต์พุตที่โมเดลสร้างขึ้นมีอัตราแยกกัน และโดยปกติเอาต์พุตจะมีราคาสูงกว่าหลายเท่า หากต้องการประมาณค่าใช้จ่าย ให้นับโทเค็นด้วยโทเค็นของผู้ให้บริการหรือนับจุดสิ้นสุด แล้วคูณแต่ละด้านด้วยอัตราต่อล้าน รวมโทเค็นที่ซ่อนอยู่ เช่น ข้อความเตือนของระบบ ประวัติการสนทนา และการให้เหตุผล
ภาษาอังกฤษโดยเฉลี่ยประมาณสี่ตัวอักษรหรือ 0.75 คำต่อโทเค็น ดังนั้น 1,000 คำจึงเท่ากับประมาณ 1,300 ถึง 1,400 โทเค็น
การสร้างโทเค็นทีละรายการจะใช้เวลาในการประมวลผลมากกว่าการประมวลผลโทเค็นอินพุตแบบขนาน
6,000 x 3 / 1,000,000 = 0.018 ดอลลาร์สหรัฐฯ และ 800 x 15 / 1,000,000 = 0.012 ดอลลาร์ ซึ่งบวกกันเป็น 0.03 ดอลลาร์
แต่ละข้อความใหม่มักจะรวมรอบก่อนหน้านี้ทั้งหมด ดังนั้นโทเค็นอินพุตจึงกองพะเนินเทินทึก เว้นแต่จะถูกตัดหรือสรุปประวัติ
โทเค็นการคิดถูกสร้างขึ้นโดยโมเดล ดังนั้นจะถูกเรียกเก็บเงินเป็นเอาต์พุตแม้ว่าคุณจะไม่เห็นโทเค็นทั้งหมดก็ตาม
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การประมาณต้นทุน LLM API และงบประมาณโทเค็น
เทคนิค