ครอบครัวตัวอย่างลามะ
Llama คือตระกูลโมเดลภาษาขนาดใหญ่แบบเปิดของ Meta ที่ใครๆ ก็สามารถดาวน์โหลด เรียกใช้ และปรับแต่งได้ฟรี
ภาพรวม
By releasing the weights publicly, Meta turned Llama into the foundation for a huge open-source AI ecosystem.
เจาะลึก
ลามะ (โมเดลภาษาขนาดใหญ่ Meta AI) คือชุดของโมเดลภาษาที่ใช้หม้อแปลงไฟฟ้า พัฒนาโดย Meta ลามะตัวแรกมาถึงในต้นปี 2566 เป็นการเผยแพร่งานวิจัย Llama 2 (กรกฎาคม 2023) เพิ่มใบอนุญาตที่อนุญาตให้ใช้ในเชิงพาณิชย์ได้ ส่วน Llama 3 และ 3.1 (2024) ก็ขยายขนาดขึ้นอย่างมาก ด้วยโมเดลเรือธงที่มีพารามิเตอร์ 405 พันล้านพารามิเตอร์ ซึ่งทัดเทียมกับระบบที่เป็นกรรมสิทธิ์ชั้นนำ คุณลักษณะที่กำหนดคือ Meta เผยแพร่น้ำหนักโมเดล เพื่อให้นักพัฒนาสามารถเรียกใช้ Llama บนฮาร์ดแวร์ของตนเอง ปรับแต่ง และหลีกเลี่ยงการส่งข้อมูลไปยัง API ภายนอก การเปิดกว้างนี้ก่อให้เกิดโมเดลและเครื่องมืออนุพันธ์หลายพันรายการ โมเดลลามะมีหลายขนาด (ตั้งแต่ไม่กี่พันล้านไปจนถึงหลายแสนล้านพารามิเตอร์) และรวมตัวแปร 'แชท' ที่ปรับแต่งตามคำแนะนำควบคู่ไปกับโมเดลพื้นฐาน
ข้อมูลเชิงลึกทางเทคนิค
โมเดลลามะเป็นหม้อแปลงแบบถอดรหัสเท่านั้นที่ได้รับการฝึกฝนให้ทำนายโทเค็นถัดไปบนโทเค็นข้อความและโค้ดหลายล้านล้านโทเค็น พวกเขาใช้ตัวเลือกการออกแบบที่เน้นประสิทธิภาพ เช่น RMSNorm, การเปิดใช้งาน SwiGLU, การฝังตำแหน่งแบบหมุน (RoPE) และความสนใจในการสืบค้นแบบกลุ่มในเวอร์ชันที่ใหญ่กว่าเพื่อเร่งการอนุมาน รูปแบบที่ปรับแต่งคำสั่งจะได้รับการปรับปรุงเพิ่มเติมด้วยการปรับแต่งแบบละเอียดภายใต้การดูแลและการเรียนรู้แบบเสริมแรงจากผลตอบรับของมนุษย์ (RLHF) เพื่อให้ปฏิบัติตามคำแนะนำของผู้ใช้และทำหน้าที่เป็นผู้ช่วยที่เป็นประโยชน์
ผลกระทบเชิงกลยุทธ์
กลยุทธ์ของผู้ขาย
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
ต้นทุนและงบประมาณ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ความเสี่ยงและความปลอดภัย
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
อนาคตของครอบครัวตัวอย่างลามะ
Meta กำลังผลักดัน Llama ไปสู่หน้าต่างบริบทที่ใหญ่ขึ้น ความสามารถด้านหลายภาษาและหลายรูปแบบที่แข็งแกร่งขึ้น (ตัวแปรที่เปิดใช้งานการมองเห็นมีอยู่แล้ว) และประสิทธิภาพบนอุปกรณ์ที่เข้มงวดมากขึ้น คาดว่าจะมีการเปิดตัวอย่างต่อเนื่องซึ่งจะกดดันตลาดในวงกว้างในด้านราคาและการเข้าถึง รวมถึงระบบนิเวศที่กำลังเติบโตของสายพันธุ์ลามะเฉพาะโดเมนที่ได้รับการปรับแต่งอย่างละเอียด การถกเถียงกันเรื่องความหมายของคำว่า 'เปิด' ซึ่งรวมถึงใบอนุญาตและขีดจำกัดการใช้งานที่ยอมรับได้ จะช่วยกำหนดรูปแบบการใช้ตุ้มน้ำหนักอันทรงพลังเหล่านี้ได้อย่างอิสระ
การใช้งานจริงในโลกแห่งความเป็นจริง
สตาร์ทอัพและนักวิจัยปรับแต่ง Llama บนข้อมูลส่วนตัวเพื่อสร้างแชทบอทแบบกำหนดเองโดยไม่ต้องจ่ายค่าธรรมเนียม API ต่อโทเค็น
นักพัฒนาใช้โมเดล Llama ขนาดเล็กในเครื่องแล็ปท็อปหรือเซิร์ฟเวอร์สำหรับแอปพลิเคชันที่ไวต่อความเป็นส่วนตัวซึ่งข้อมูลไม่สามารถออกจากอาคารได้
บริษัทต่างๆ ใช้ Llama ที่ปรับแต่งตามคำสั่งเป็นฐานสำหรับผู้ช่วยเขียนโค้ด ผู้สรุป และเครื่องมือสนับสนุนลูกค้า
โครงการชุมชนที่ขับเคลื่อนด้วยน้ำหนักแบบเปิด เช่น Code Llama และอนุพันธ์ของ Hugging Face จำนวนนับไม่ถ้วนที่ใช้ในการวิจัยเชิงวิชาการ
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Llama Model Family quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
โมเดลมูลนิธิ NVIDIA Cosmos World
คำถามที่พบบ่อย
What is Llama Model Family?
Llama คือตระกูลโมเดลภาษาขนาดใหญ่แบบเปิดของ Meta ที่ใครๆ ก็สามารถดาวน์โหลด เรียกใช้ และปรับแต่งได้ฟรี ด้วยการเปิดเผยน้ำหนักต่อสาธารณะ Meta ได้เปลี่ยน Llama ให้เป็นรากฐานสำหรับระบบนิเวศ AI แบบโอเพ่นซอร์สขนาดใหญ่
อะไรทำให้ครอบครัวลามะแตกต่างจากคู่แข่งหลายรุ่นอย่างเห็นได้ชัด
ลักษณะเฉพาะของ Llama คือ Meta เผยแพร่น้ำหนักอย่างเปิดเผย โดยให้นักพัฒนาเรียกใช้ ปรับแต่ง และโฮสต์โมเดลด้วยตนเอง
อักษรย่อ 'ลามะ' ย่อมาจากอะไร?
ลามะย่อมาจาก Large Language Model Meta AI ซึ่งสะท้อนถึงวัตถุประสงค์และผู้สร้าง
Llama รุ่นใดที่เพิ่มใบอนุญาตที่อนุญาตให้ใช้ในเชิงพาณิชย์ในวงกว้างก่อน
Llama 2 ซึ่งเปิดตัวในเดือนกรกฎาคม ปี 2023 มาพร้อมกับใบอนุญาตที่อนุญาตมากกว่าซึ่งอนุญาตให้นำไปใช้ในเชิงพาณิชย์ได้ ซึ่งแตกต่างจากการเปิดตัวครั้งแรกสำหรับการวิจัยเท่านั้น
สถาปัตยกรรมใดที่รองรับโมเดลลามะ
โมเดล Llama เป็นหม้อแปลงที่ใช้ตัวถอดรหัสเท่านั้น ซึ่งได้รับการฝึกฝนให้ทำนายโทเค็นถัดไปผ่านข้อความขนาดใหญ่และกลุ่มรหัส
Llama 'แชท' หรือรูปแบบที่ปรับแต่งตามคำสั่งถูกสร้างขึ้นมาอย่างไรเพื่อให้เป็นไปตามข้อความแจ้งของผู้ใช้?
โมเดลลามะที่ปรับแต่งตามคำสั่งได้รับการปรับปรุงด้วยการปรับแต่งแบบละเอียดภายใต้การดูแลและ RLHF ดังนั้นจึงทำหน้าที่เป็นผู้ช่วยที่เป็นประโยชน์และติดตามทันที