Ne oldu?
PrismML, bulut altyapısı olmayan kişisel bilgisayarlarda ve üst düzey akıllı telefonlarda çalışacak şekilde tasarlanmış sıkıştırılmış bir geniş dil modeli olan Bonsai 2 27B'yi piyasaya sürdü. Model, Alibaba'nın Qwen3.8 27B'sini üçlü ağırlık sıkıştırması kullanarak 5,9 gigabayta düşürüyor ve orijinalin kıyaslama performansının %98'ini koruyor. Ağırlıklar Apache 2.0 Lisansı kapsamında mevcuttur ve CUDA aracılığıyla NVIDIA GPU'ları ve MLX aracılığıyla Apple aygıtlarını destekler.
Caltech araştırmacıları tarafından kurulan ve Babak Hassibi liderliğindeki bir girişim olan PrismML, Perşembe günü Bonsai 2 27B'yi piyasaya sürdü. Model, Alibaba'nın Qwen3.8 27B modelinin sıkıştırılmış bir versiyonudur ve 16 bitlik parametreleri üç değere dönüştüren üçlü ağırlık sıkıştırması yoluyla 5,9 gigabayta düşürülmüştür: pozitif bir, negatif bir veya sıfır. Bu teknik, gereksiz parametreleri ortadan kaldırarak modelin, yerel donanıma uyum sağlarken orijinalin kıyaslama performansının %98'ini korumasına olanak tanır.
Bu sürüm, Mart ayındaki kıyaslama performansının %95'ini koruyan orijinal Bonsai modeline göre önemli bir gelişmeye işaret ediyor. PrismML'e göre, orijinal model 11 milyondan fazla indirildi ve ek olarak daha küçük modeller 2,6 milyon indirme topladı; bu da geliştiricilerin cihaz tabanlı yapay zekayı güçlü bir şekilde benimsediğini gösteriyor. Yeni model, verimli yerel yürütme sağlamak için özel düşük bit çekirdekleri kullanarak CUDA aracılığıyla NVIDIA GPU'larda ve MLX aracılığıyla Apple cihazlarda (Mac, iPhone, iPad) çalışır.
Model ağırlıkları Apache 2.0 Lisansı altında hemen mevcuttur ve geniş entegrasyon ve modifikasyona olanak tanır. PrismML, Khosla Ventures, Cerberus Capital ve Caltech tarafından desteklenen ve Databricks'in kurucu ortağı Ion Stoica'nın danışman olarak görev yaptığı 22,25 milyon dolarlık bir tohum turu topladı. Şirketin yaklaşımı, minimum dosya boyutuyla yüksek performans eşitliği elde etmek için daha büyük modellerdeki fazlalıktan yararlanmaya odaklanıyor; Hassibi, model boyutları arttıkça daha etkili hale geleceğini öne süren bir strateji.
Kaynak ayrıntıları: techjuice.pk ↗
Neden önemli?
Bu sürüm, muhakeme yeteneğine sahip yapay zekanın tüketici donanımında yerel olarak çalışabildiğini, gizlilik endişelerini giderebildiğini ve bulut gecikmesini ve abonelik maliyetlerini ortadan kaldırabildiğini gösteriyor. Önemli ölçüde daha küçük bir dosya boyutuyla yüksek performans eşitliği elde eden PrismML, buluta bağımlı yapay zekadan dağıtılmış, cihaz tabanlı akıl yürütmeye geçişi ilerletiyor ve gelişmiş yapay zeka yeteneklerini devasa veri merkezi altyapısı olmadan erişilebilir hale getiriyor.
Muhakeme yeteneğine sahip yapay zekayı yerel olarak tüketici cihazlarında çalıştırma yeteneği, kullanıcı verilerinin cihazdan asla ayrılmamasını sağlayarak kritik gizlilik endişelerini giderir. Bu, bulut aktarımı ihtiyacını ortadan kaldırır, gecikmeyi azaltır ve bulut tabanlı yapay zeka hizmetleriyle ilişkili devam eden abonelik maliyetlerini ortadan kaldırır. Geliştiriciler ve son kullanıcılar için bu, hem uygun maliyetli hem de özel olan dağıtılmış, cihaz tabanlı akıl yürütmeye doğru temel bir değişimi temsil ediyor.
5,9 GB'lık bir dosyadaki %98'lik kıyaslama performansının yüksek tutma oranı, sıkıştırma tekniklerinin büyük modellerin zekasını etkili bir şekilde koruyabildiğini göstermektedir. Bunun, veri egemenliğinin ve gerçek zamanlı yanıtın çok önemli olduğu sağlık hizmetleri, finans ve kişisel asistanlar gibi cihaz üzerinde yapay zeka gerektiren endüstriler için pratik sonuçları vardır. Sürümün açık kaynak yapısı, topluluğun modeli belirli donanım kısıtlamaları için geliştirmesine ve optimize etmesine olanak tanıyarak benimsemeyi daha da hızlandırır.
İnteraktif Mekanizma: Aslında Nasıl Çalışıyor?
Bu gelişmenin arkasında yatan teknolojiyi etkileşimli olarak keşfedin.
Which component of an AI application is the machine-learning model itself?
Bundan sonra ne izlenecek?
Geliştiricilerin, farklı donanım mimarileri için özel düşük bit çekirdeklerin kullanılabilirliğini ve şirketin önümüzdeki aylarda yüz milyarlarca parametreli modelleri sıkıştırma hedefini izlemesi gerekiyor. Ek olarak, Apple cihazlarıyla sürümün zamanlamasına göre ima edilen potansiyel entegrasyon, gelecekteki cihaz tarafındaki yapay zeka yeteneklerine dikkat edilmesini garanti ediyor.
PrismML, bir sonraki hedefinin önümüzdeki birkaç ay içinde yüz milyarlarca parametreye sahip modelleri sıkıştırmak olduğunu belirtti. Bu alandaki başarı, sınır sınıfı modeller için üçlü sıkıştırmanın ölçeklenebilirliğini daha da doğrulayacak ve potansiyel olarak yerel donanımda daha da gelişmiş yapay zeka yeteneklerinin kullanılabilir olmasını sağlayacaktır.
Sürümün zamanlaması, Apple cihazlarıyla potansiyel entegrasyon hakkında spekülasyonlara yol açtı. CEO Babak Hassibi, Apple ile yapılan görüşmelere ilişkin raporlar hakkında yorum yapmayı reddederken, Apple'nin MLX çerçevesine verilen destek, Apple'nin ekosistemiyle stratejik bir uyumun olduğunu gösteriyor. Resmi ortaklıklar veya cihaza özel optimizasyonlarla ilgili gelecekteki duyurular, yerel yapay zekanın iOS ve macOS platformlarında benimsenmesini önemli ölçüde etkileyebilir.