โมเดลภาษาขนาดเล็ก

They trade some raw capability for speed, privacy, and the ability to run without a data center.

แม้ว่าโมเดลชายแดนจะมีพารามิเตอร์นับแสนล้านหรือล้านล้านและต้องการแร็ค GPU แต่โมเดลภาษาเล็กๆ ก็พิสูจน์ได้ว่าการฝึกอบรมอย่างรอบคอบสามารถบรรจุประสิทธิภาพที่แข็งแกร่งลงในแพ็คเกจที่เล็กกว่ามากได้ โมเดลต่างๆ เช่น ตระกูล Phi ของ Microsoft, Gemma ของ Google และตัวแปร Llama ที่เล็กกว่าของ Meta แสดงให้เห็นว่าคุณภาพของข้อมูล ไม่ใช่แค่ขนาด เท่านั้น แต่ยังช่วยขับเคลื่อนขีดความสามารถอีกด้วย การค้นพบที่น่าประหลาดใจก็คือการฝึกอบรมเกี่ยวกับข้อมูลที่สะอาดกว่าและดูแลจัดการอย่างรอบคอบมากขึ้นทำให้โมเดลขนาดเล็กสามารถแข่งขันกับโมเดลที่ใหญ่กว่ามากในงานหลายๆ งานได้ SLM ปลดล็อก AI บนอุปกรณ์: ทำงานภายในเครื่องบนแล็ปท็อปหรือสมาร์ทโฟน ดังนั้นข้อมูลของคุณจะไม่มีวันออกจากอุปกรณ์ เวลาแฝงต่ำ และไม่มีค่าใช้จ่ายระบบคลาวด์ต่อการสืบค้น นอกจากนี้ยังมีราคาถูกกว่าในการปรับแต่งโดเมนเฉพาะอีกด้วย ข้อเสียคือพวกเขามีแนวโน้มที่จะมีความรู้ในโลกกว้างน้อยกว่าและประสิทธิภาพในงานการให้เหตุผลที่ยากที่สุดก็ด้อยกว่าเมื่อเปรียบเทียบกับแบบจำลองขนาดยักษ์