เกิดอะไรขึ้น
Yandex released AliceAI-Foundation-80B-A3B-Base, an 80 billion- large language model, on Hugging Face under an Apache 2.0 license. โมเดลดังกล่าวใช้สถาปัตยกรรม Mixture-of-Experts ที่เปิดใช้งานพารามิเตอร์เพียง 3 พันล้านพารามิเตอร์ต่อโทเค็น รองรับหน้าต่างบริบท 262,144 โทเค็น และได้รับการฝึกอบรมเกี่ยวกับโทเค็นประมาณ 18 ล้านล้านโทเค็น ได้รับการออกแบบมาเพื่อการใช้งานเชิงพาณิชย์และการวิจัยเชิงวิชาการ โดยมีการเพิ่มประสิทธิภาพเฉพาะสำหรับงานภาษารัสเซีย
Yandex ได้จัดทำ AliceAI-Foundation-80B-A3B-Base บน Hugging Face ภายใต้ใบอนุญาต Apache 2.0 ช่วยให้ใช้งานเชิงพาณิชย์ ดัดแปลง และพัฒนาผลิตภัณฑ์ได้อย่างไม่จำกัดโดยไม่มีค่าธรรมเนียมใบอนุญาต แบบจำลองนี้คือระบบพารามิเตอร์ 80 พันล้านที่สร้างขึ้นสำหรับการใช้งานเชิงพาณิชย์และการวิจัยเชิงวิชาการ
สถาปัตยกรรมใช้การออกแบบ Mixture-of-Experts (MoE) โดยมีพารามิเตอร์เพียง 3 พันล้านพารามิเตอร์ที่ใช้งานสำหรับโทเค็นที่กำหนด ระบบกำหนดเส้นทางจะเลือกผู้เชี่ยวชาญ 10 อันดับแรกจากกลุ่ม 512 คน บวกกับผู้เชี่ยวชาญที่แชร์อีก 1 คนซึ่งยังคงทำงานอยู่เสมอ การออกแบบนี้ทำงานบน 48 เลเยอร์โดยใช้ไฮบริดของ Kimi Delta Attention และการดูแลแบบมีรั้วรอบขอบชิด ซึ่งรองรับหน้าต่างบริบทสูงถึง 262,144 โทเค็น
โมเดลนี้ได้รับการฝึกฝนตั้งแต่เริ่มต้นด้วยโทเค็นประมาณ 18 ล้านล้านโทเค็น Yandex เปรียบเทียบกับตัวแปร DeepSeek โดยรายงานว่ามีประสิทธิภาพเหนือกว่า DeepSeek-V4-Flash-Base บนการวัดประสิทธิภาพภาษารัสเซียใหม่สองตัวที่เปิดตัวควบคู่ไปกับการเปิดตัว: WikiWebFacts และ HardMultiQA On coding tasks, the model reportedly holds its own against NVIDIA’s Nemotron-3-Super-120B despite activating far fewer parameters per forward pass.
การเปิดตัวครั้งนี้เป็นไปตามโมเดลเปิดที่มีพารามิเตอร์ 35 พันล้านพารามิเตอร์ที่ Yandex เปิดตัวเมื่อสองสัปดาห์ก่อนในเดือนกันยายน พ.ศ. 2569 โมเดลนี้แสดงให้เห็นถึงการก้าวกระโดดทางสถาปัตยกรรมจากการออกแบบหม้อแปลงความหนาแน่นสูงไปจนถึงแนวทาง MoE ซึ่งเป็นการสานต่อสายเลือด AI แบบโอเพ่นซอร์สของ Yandex ซึ่งรวมถึงรุ่น YaLM 100B รุ่นก่อนหน้าด้วย
รายละเอียดที่มา: cryptobriefing.com ↗
ทำไมมันถึงสำคัญ
รีลีสนี้เป็นทางเลือกที่มีประสิทธิภาพสูงและมีลิขสิทธิ์แบบเปิดสำหรับแอปพลิเคชันภาษารัสเซีย โดยแก้ไขช่องว่างที่โมเดลแบบเปิดส่วนใหญ่ได้รับการฝึกอบรมเป็นภาษาอังกฤษเป็นหลัก สถาปัตยกรรม MoE ลดข้อกำหนดด้านฮาร์ดแวร์สำหรับการปรับใช้ภายในองค์กร ทำให้สามารถเข้าถึงได้มากขึ้นสำหรับอุตสาหกรรมที่ได้รับการควบคุม เช่น กฎหมายและการแพทย์ ด้วยประสิทธิภาพที่เหนือกว่า DeepSeek-V4-Flash-Base บนเกณฑ์มาตรฐานภาษารัสเซียใหม่ จึงสร้างพื้นฐานการแข่งขันสำหรับความพยายามด้าน AI อธิปไตยในภูมิภาค
โมเดลดังกล่าวได้รับการกำหนดกรอบไว้อย่างชัดเจนว่าเป็นโซลูชัน AI ขั้นสูง โดยเน้นประสิทธิภาพในบริบททางกฎหมายและการแพทย์ของรัสเซีย ซึ่งความแม่นยำของโดเมนเป็นสิ่งสำคัญ และโมเดลตะวันตกหรือจีนที่มีอยู่อาจขาดเนื่องจากความไม่สมดุลของข้อมูลการฝึกอบรม
For developers working in Russian-language applications, this model fills a significant gap, as most high-quality open models are predominantly English-trained. ความสามารถในการใช้แบบจำลองโดยไม่มีค่าธรรมเนียมใบอนุญาตช่วยลดอุปสรรคในการเข้าสู่ธุรกิจและนักวิจัย
สถาปัตยกรรม MoE มีผลกระทบในทางปฏิบัติต่อค่าใช้จ่ายในการปรับใช้ เนื่องจากพารามิเตอร์เพียง 3 พันล้านจากทั้งหมด 80 พันล้านที่ใช้งานอยู่ในช่วงเวลาใดก็ตาม ธุรกิจต่างๆ จึงสามารถรันโมเดลบนโครงสร้างพื้นฐานของตนเองได้ในราคาประหยัดกว่าที่โมเดล 80B ที่มีความหนาแน่นเต็มที่ต้องการ ซึ่งช่วยลดเกณฑ์ฮาร์ดแวร์สำหรับการปรับใช้ภายในองค์กรในอุตสาหกรรมที่มีการควบคุม
กลไกเชิงโต้ตอบ: มันทำงานอย่างไร
สำรวจเทคโนโลยีเบื้องหลังการพัฒนานี้แบบโต้ตอบ
In AI, what are a model's "parameters"?
จะดูอะไรต่อไป.
ติดตามการนำเกณฑ์มาตรฐาน WikiWebFacts และ HardMultiQA มาใช้โดยชุมชน AI ในวงกว้าง เพื่อเป็นมาตรฐานที่เป็นไปได้สำหรับการประเมินโมเดลภาษารัสเซีย รับชมการบูรณาการโมเดลพื้นฐานนี้เข้ากับผู้ช่วย Alice ที่พบปะกับผู้บริโภคของ Yandex สำหรับการให้เหตุผลในอนาคตและความสามารถเชิงตัวแทน ติดตามว่าองค์กรอื่นๆ นำโมเดลนี้ไปใช้ในภาคส่วนที่มีการควบคุมในองค์กรหรือไม่
The two new benchmarks, WikiWebFacts and HardMultiQA, may become community standards for evaluating Russian-language models, influencing how performance is measured in this specific linguistic domain.
Yandex ตั้งใจให้โมเดลพื้นฐานนี้ทำหน้าที่เป็นกลไกในการให้เหตุผลในอนาคตและความสามารถเชิงตัวแทนในผู้ช่วย Alice ที่พบปะกับผู้บริโภค โดยแนะนำการอัปเดตผลิตภัณฑ์ที่กำลังจะมีขึ้นซึ่งจะใช้ประโยชน์จากโครงสร้างพื้นฐานใหม่นี้
การตรวจสอบความถูกต้องของการอ้างมาตรฐานโดยอิสระในปัจจุบันจำกัดอยู่เพียงการรายงานของ Yandex เท่านั้น เนื่องจากไม่มีการอ้างอิงการประเมินโดยบุคคลที่สามในแหล่งข้อมูล