คู่มือทางเทคนิค
รุ่น 1 บิตและ Ternary BitNet
BitNet เป็นงานวิจัยของ Microsoft ที่แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่สามารถฝึกได้โดยมีน้ำหนักที่จำกัดเพียง 1 บิต หรือสามค่าในกรณีแบบไตรภาค
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
This slashes memory and energy use dramatically while keeping surprisingly strong accuracy.
เจาะลึก
รุ่นทั่วไปจะเก็บน้ำหนักแต่ละรายการเป็นตัวเลข 16 บิต BitNet แทนที่สิ่งเหล่านี้ด้วยการแสดงบิตต่ำมาก ตัวแปร BitNet b1.58 ที่มีอิทธิพลใช้น้ำหนักแบบไตรภาค ซึ่งแต่ละตัวจำกัดอยู่ที่ -1, 0 หรือ +1 ซึ่งคิดเป็นข้อมูลประมาณ 1.58 บิตต่อน้ำหนัก (ฐานบันทึก 2 จาก 3) แนวคิดที่สำคัญคือโมเดลได้รับการฝึกฝนตั้งแต่ต้นด้วยข้อจำกัดเหล่านี้ ไม่ใช่การวัดปริมาณในภายหลัง ดังนั้นจึงเรียนรู้ที่จะแข็งแกร่งจนถึงความแม่นยำที่จำกัด เนื่องจากน้ำหนักเป็นเพียง -1, 0 หรือ +1 การคูณราคาแพงในคณิตศาสตร์เมทริกซ์จึงยุบลงเป็นการบวกและการลบ ผลลัพธ์ที่ได้คือแบนด์วิธหน่วยความจำ การใช้พลังงาน และเวลาแฝงที่ต่ำกว่ามาก โดยค่า 0 ยังทำให้เกิดความกระจัดกระจาย ทั้งหมดนี้ในขณะเดียวกันก็จับคู่รุ่นที่มีความแม่นยำเต็มรูปแบบในขนาดที่เทียบเคียงได้กับเกณฑ์มาตรฐานต่างๆ
การใช้งานจริงในโลกแห่งความเป็นจริง
BitNet b1.58 2B4T ของ Microsoft ทำงานอย่างมีประสิทธิภาพบน CPU ช่วยให้สามารถอนุมาน LLM ได้โดยไม่ต้องใช้ GPU เฉพาะ
ผู้ช่วยในอุปกรณ์ที่พอดีกับรุ่นที่มีความสามารถในหน่วยความจำที่จำกัดของโทรศัพท์ด้วยน้ำหนักประมาณ 1.58 บิต
ลดต้นทุนพลังงานอนุมานและคาร์บอนสำหรับบริการ API ปริมาณสูงโดยการแทนที่การคูณเลขทศนิยมด้วยการบวก
การใช้งาน Edge (IoT, ฮาร์ดแวร์แบบฝัง) ซึ่งการถ่วงน้ำหนักแบบไตรภาคทำให้การเข้าใจภาษาท้องถิ่นเป็นไปได้ภายใต้งบประมาณด้านพลังงานที่จำกัด
อนาคตของโมเดล 1 บิตและ Ternary BitNet
BitNet ชี้ให้เห็นถึงอนาคตที่โมเดลที่มีความสามารถทำงานบนโทรศัพท์ แล็ปท็อป และอุปกรณ์ Edge ที่ไม่มี GPU สำหรับศูนย์ข้อมูล คอขวดหลักคือฮาร์ดแวร์: ชิปในปัจจุบันถูกสร้างขึ้นสำหรับคณิตศาสตร์จุดลอยตัว ดังนั้นตัวเร่งความเร็วพิเศษที่ปรับให้เหมาะสมสำหรับการดำเนินการบวกแบบไตรภาคเท่านั้นจึงสามารถเพิ่มผลประโยชน์ได้ทวีคูณ คาดว่าจะมีสถาปัตยกรรมแบบเนทีฟ 1 บิตที่มากขึ้น โมเดลสไตล์ BitNet ที่ใหญ่ขึ้น และการผสานรวมเข้ากับผู้ช่วยบนอุปกรณ์ที่อายุการใช้งานแบตเตอรี่และความเป็นส่วนตัวมีความสำคัญ ซึ่งอาจกำหนดรูปแบบเศรษฐศาสตร์ของการอนุมาน AI ใหม่
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the 1-Bit and Ternary BitNet Models quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is 1-Bit and Ternary BitNet Models?
BitNet เป็นงานวิจัยของ Microsoft ที่แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่สามารถฝึกได้โดยมีน้ำหนักที่จำกัดเพียง 1 บิต หรือสามค่าในกรณีแบบไตรภาค วิธีนี้ช่วยลดการใช้หน่วยความจำและพลังงานลงอย่างมาก ขณะเดียวกันก็รักษาความแม่นยำที่แข็งแกร่งจนน่าประหลาดใจ
เหตุใด BitNet b1.58 จึงอธิบายว่าใช้ประมาณ 1.58 บิตต่อน้ำหนัก
น้ำหนักแบบไตรภาคใช้ค่าหนึ่งในสามค่า และการเป็นตัวแทนสามสถานะต้องใช้ฐานบันทึก 2 จาก 3 หรือประมาณ 1.58 บิต
อะไรทำให้การดำเนินงานเมทริกซ์ของ BitNet ถูกกว่าในรุ่นมาตรฐาน
ด้วยน้ำหนักที่จำกัดไว้ที่ -1, 0 และ +1 การคูณด้วยน้ำหนักจะช่วยลดการบวก ลบ หรือละเว้นค่า เพื่อหลีกเลี่ยงการคูณจุดทศนิยมที่มีค่าใช้จ่ายสูง
ในระหว่างการฝึกอบรม BitNet จะอัปเดตน้ำหนักอย่างไรแม้จะมีขั้นตอนการหาปริมาณที่ไม่สามารถแยกความแตกต่างได้
BitNet เก็บสำเนาน้ำหนักหลักที่มีความแม่นยำสูงกว่า และใช้ตัวประมาณค่าแบบตรงเพื่อส่งผ่านการไล่ระดับสีผ่านการหาปริมาณ ทำให้เกิดการแพร่กระจายกลับแบบปกติ
การอนุญาตให้ใช้ค่า 0 (แบบไตรภาค ไม่ใช่ไบนารี่บริสุทธิ์) ให้ประโยชน์อะไรเพิ่มเติมบ้าง
สถานะ 0 ช่วยให้การเชื่อมต่อบางอย่างปิดได้อย่างมีประสิทธิภาพ ทำให้เกิดความกระจัดกระจายที่สามารถนำไปใช้ประโยชน์เพื่อประสิทธิภาพเพิ่มเติมได้
อะไรคือความท้าทายด้านฮาร์ดแวร์หลักในการทำให้ BitNet ได้รับประโยชน์อย่างเต็มประสิทธิภาพ?
ตัวเร่งความเร็วในปัจจุบันได้รับการออกแบบโดยใช้การคูณจุดทศนิยม ดังนั้นจึงจำเป็นต้องใช้ฮาร์ดแวร์เฉพาะสำหรับการดำเนินการที่มีการบวกแบบไตรภาคเพื่อปลดล็อกความเร็วและพลังงานของ BitNet อย่างเต็มที่
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้