คู่มือทางเทคนิค

การนับโทเค็นและราคา LLM API

LLM API คิดค่าบริการต่อโทเค็น ซึ่งเป็นข้อความส่วนหนึ่งที่มีขนาดประมาณสามในสี่ของคำภาษาอังกฤษ

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการนับโทเค็นและราคา LLM API
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

โทเค็นอินพุตที่คุณส่งและโทเค็นเอาต์พุตที่โมเดลสร้างขึ้นมีอัตราแยกกัน และโดยปกติเอาต์พุตจะมีราคาสูงกว่าหลายเท่า หากต้องการประมาณค่าใช้จ่าย ให้นับโทเค็นด้วยโทเค็นของผู้ให้บริการหรือนับจุดสิ้นสุด แล้วคูณแต่ละด้านด้วยอัตราต่อล้าน รวมโทเค็นที่ซ่อนอยู่ เช่น ข้อความเตือนของระบบ ประวัติการสนทนา และการให้เหตุผล

เจาะลึก

โมเดลไม่อ่านอักขระหรือคำศัพท์โดยตรง โทเค็นไนเซอร์จะแยกข้อความออกเป็นโทเค็น ซึ่งเป็นลำดับอักขระทั่วไปที่เรียนรู้จากข้อมูลการฝึก กฎทั่วไปสำหรับภาษาอังกฤษคือประมาณสี่อักขระหรือสามในสี่ของคำต่อโทเค็น นั่นทำให้มี 1,000 คำที่ประมาณ 1,300 ถึง 1,400 โทเค็น รหัส ตัวเลข ชื่อที่ไม่ธรรมดา และภาษาที่ไม่ใช่ภาษาอังกฤษจำนวนมากใช้โทเค็นมากกว่าต่อคำ แต่ละตระกูลโมเดลมีโทเค็นไนเซอร์ของตัวเอง ดังนั้นข้อความเดียวกันจึงสามารถนับจำนวนที่แตกต่างกันจากผู้ให้บริการที่แตกต่างกัน โดยปกติราคาจะถูกเสนอต่อหนึ่งล้านโทเค็น โดยมีอัตราอินพุตและเอาท์พุตแยกกัน โทเค็นเอาท์พุตมีราคาสูงกว่าเนื่องจากโมเดลสร้างขึ้นทีละรายการ ในขณะที่สามารถประมวลผลโทเค็นอินพุตแบบขนานได้ โดยทั่วไปเอาต์พุตจะมีราคาหลายเท่าของอัตราอินพุต ซึ่งมักจะอยู่ระหว่างสี่ถึงแปดเท่า แม้ว่าอัตราส่วนจะแตกต่างกันไปตามรุ่น นี่คือตัวอย่างการทำงานที่มีราคาที่สร้างขึ้น: อินพุตที่ 3 ดอลลาร์ต่อล้านโทเค็น และเอาต์พุตที่ 15 ดอลลาร์ต่อล้าน งานส่งโทเค็นอินพุต 6,000 โทเค็น (พรอมต์ของระบบ คำแนะนำ และเอกสาร) และรับโทเค็นเอาต์พุตกลับ 800 โทเค็น - อินพุต: 6,000 x 3 ดอลลาร์ / 1,000,000 = 0.018 ดอลลาร์ - เอาท์พุต: 800 x 15 ดอลลาร์ / 1,000,000 = 0.012 ดอลลาร์ - รวม: 0.03 ดอลลาร์ต่องาน มี 10,000 งานต่อวัน ซึ่งคิดเป็นเงินประมาณ 300 ดอลลาร์ต่อวัน ค่าใช้จ่ายจริงมักจะทำให้ผู้คนประหลาดใจ ด้วยเหตุผลที่สามารถคาดเดาได้: - แอปพลิเคชันแชทจะส่งการสนทนาทั้งหมดอีกครั้งในทุก ๆ รอบ ดังนั้นข้อมูลจะเพิ่มขึ้นตามแต่ละข้อความ - โมเดลการใช้เหตุผลจะสร้างโทเค็นการคิดภายในซึ่งเรียกเก็บเงินเป็นเอาท์พุต แม้ว่าจะไม่ได้แสดงทั้งหมดก็ตาม - คำจำกัดความของเครื่องมือ เอกสารที่ดึงมา และรูปภาพทั้งหมดจะนับเป็นอินพุต - การลองซ้ำและการโทรที่ล้มเหลวก็มีค่าใช้จ่ายเช่นกัน ความเข้าใจผิดที่พบบ่อยมีสามประการ: โทเค็นมีคำเท่ากัน การเติมหน้าต่างบริบทของโมเดลนั้นฟรี และโมเดลที่มีราคาต่อโทเค็นต่ำที่สุดนั้นจะถูกที่สุดต่องานเสมอ โมเดลที่แข็งแกร่งกว่าซึ่งเสร็จสิ้นโดยใช้ความพยายามน้อยลงอาจทำให้ต้นทุนโดยรวมลดลง

การใช้งานจริงในโลกแห่งความเป็นจริง

นักพัฒนาซอฟต์แวร์ใช้ไลบรารี tiktoken โอเพ่นซอร์สของ OpenAI เพื่อนับบทความสนับสนุน 3,000 คำก่อนที่จะส่ง มีโทเค็นประมาณ 4,000 เหรียญ และเธอตั้งค่าการแจ้งเตือนงบประมาณให้ตรงกัน

ทีมแชทบอทพบว่าการเรียกเก็บเงินส่วนใหญ่มาจากการส่งพรอมต์ระบบ 2,000 โทเค็นอีกครั้งและประวัติการแชททั้งหมดในทุกเทิร์น ลดต้นทุนโดยการสรุปเทิร์นเก่าๆ และใช้การแคชทันที

บริษัทที่ประมวลผลคำอธิบายผลิตภัณฑ์ 50,000 รายการในชั่วข้ามคืนจะย้ายงานไปยัง Batch API ของผู้ให้บริการ API แบบแบตช์มีค่าใช้จ่ายน้อยกว่า และผลลัพธ์จะกลับมาภายในไม่กี่ชั่วโมงแทนที่จะเป็นวินาที

ทีมงานแปลเนื้อหาเป็นภาษาฮินดีและงบประมาณภาษาญี่ปุ่นต่อหน้ามากกว่าภาษาอังกฤษ สำหรับโทเค็นทั่วไป ความหมายเดียวกันมักจะใช้โทเค็นมากกว่าในภาษาเหล่านั้น

อนาคตของการนับโทเค็นและราคา LLM API

ราคาต่อโทเค็นสำหรับระดับความสามารถที่กำหนดได้ลดลงอย่างมากในช่วงไม่กี่ปีที่ผ่านมา การใช้จ่ายโดยรวมมักจะเพิ่มขึ้น เนื่องจากแอปพลิเคชันใช้บริบทที่ยาวขึ้น เจ้าหน้าที่ทำการเรียกหลายครั้ง และแบบจำลองการให้เหตุผลจะให้ผลลัพธ์ที่มากขึ้น ราคายังมีความหลากหลายมากขึ้น โดยมีอัตราแยกต่างหากสำหรับอินพุตที่แคชไว้ คำขอตามบริบทแบบยาว งานแบตช์ และการใช้เหตุผล นั่นทำให้การวัดการใช้งานจริงต่องานมีความสำคัญมากกว่าการเปรียบเทียบราคาพาดหัว เครื่องมือด้านต้นทุน เช่น งบประมาณ การติดตามต้นทุนต่อคุณลักษณะ และการกำหนดเส้นทางแบบจำลองอัตโนมัติ มีแนวโน้มว่าจะกลายเป็นส่วนมาตรฐานของแอปพลิเคชัน LLM

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบการนับโทเค็นและการกำหนดราคา API ของ LLM

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การนับโทเค็นและราคา LLM API คืออะไร

LLM API คิดค่าบริการต่อโทเค็น ซึ่งเป็นข้อความส่วนหนึ่งที่มีขนาดประมาณสามในสี่ของคำภาษาอังกฤษ โทเค็นอินพุตที่คุณส่งและโทเค็นเอาต์พุตที่โมเดลสร้างขึ้นมีอัตราแยกกัน และโดยปกติเอาต์พุตจะมีราคาสูงกว่าหลายเท่า หากต้องการประมาณค่าใช้จ่าย ให้นับโทเค็นด้วยโทเค็นของผู้ให้บริการหรือนับจุดสิ้นสุด แล้วคูณแต่ละด้านด้วยอัตราต่อล้าน รวมโทเค็นที่ซ่อนอยู่ เช่น ข้อความเตือนของระบบ ประวัติการสนทนา และการให้เหตุผล

กฎทั่วไปสำหรับข้อความและโทเค็นภาษาอังกฤษคืออะไร?

ภาษาอังกฤษโดยเฉลี่ยประมาณสี่ตัวอักษรหรือ 0.75 คำต่อโทเค็น ดังนั้น 1,000 คำจึงเท่ากับประมาณ 1,300 ถึง 1,400 โทเค็น

เหตุใดโทเค็นเอาท์พุตจึงมีราคาสูงกว่าโทเค็นอินพุต

การสร้างโทเค็นทีละรายการจะใช้เวลาในการประมวลผลมากกว่าการประมวลผลโทเค็นอินพุตแบบขนาน

ด้วยราคาที่สร้างขึ้นที่ 3 เหรียญสหรัฐต่อล้านโทเค็นอินพุต และ 15 เหรียญสหรัฐต่อล้านโทเค็นเอาท์พุต การเรียกที่มี 6,000 โทเค็นอินพุตและ 800 โทเค็นเอาท์พุตมีค่าใช้จ่ายเท่าใด

6,000 x 3 / 1,000,000 = 0.018 ดอลลาร์สหรัฐฯ และ 800 x 15 / 1,000,000 = 0.012 ดอลลาร์ ซึ่งบวกกันเป็น 0.03 ดอลลาร์

เหตุใดต้นทุนแชทบอทจึงเพิ่มขึ้นเมื่อมีการสนทนาดำเนินต่อไป

แต่ละข้อความใหม่มักจะรวมรอบก่อนหน้านี้ทั้งหมด ดังนั้นโทเค็นอินพุตจึงกองพะเนินเทินทึก เว้นแต่จะถูกตัดหรือสรุปประวัติ

โดยทั่วไปแล้วโทเค็นการคิดภายในของแบบจำลองการใช้เหตุผลจะถูกเรียกเก็บเงินอย่างไร

โทเค็นการคิดถูกสร้างขึ้นโดยโมเดล ดังนั้นจะถูกเรียกเก็บเงินเป็นเอาต์พุตแม้ว่าคุณจะไม่เห็นโทเค็นทั้งหมดก็ตาม

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →