Apa yang berlaku
PrismML mengeluarkan Bonsai 2 27B, model bahasa besar termampat yang direka untuk dijalankan pada komputer peribadi dan telefon pintar mewah tanpa infrastruktur awan. Model ini mengurangkan Qwen3.8 27B Alibaba kepada 5.9 gigabait menggunakan pemampatan berat ternary, mengekalkan 98% daripada prestasi penanda aras asal. Pemberat tersedia di bawah Lesen Apache 2.0 dan menyokong GPU NVIDIA melalui peranti CUDA dan Apple melalui MLX.
PrismML, sebuah syarikat permulaan yang diasaskan oleh penyelidik Caltech dan diketuai oleh Babak Hassibi, mengeluarkan Bonsai 2 27B pada hari Khamis. Model ini ialah versi mampat bagi Qwen3.8 27B Alibaba, dikurangkan kepada 5.9 gigabait melalui pemampatan berat terner, yang menukar parameter 16-bit kepada tiga nilai: satu positif, satu negatif atau sifar. Teknik ini menghapuskan parameter berlebihan, membolehkan model mengekalkan 98% daripada prestasi penanda aras asal sambil dipasang pada perkakasan tempatan.
Keluaran itu menandakan peningkatan ketara berbanding model Bonsai asal dari Mac, yang mengekalkan 95% prestasi penanda aras. Menurut PrismML, model asal telah dimuat turun lebih 11 juta kali, dengan model lebih kecil tambahan mengumpul 2.6 juta muat turun, menunjukkan penggunaan pembangun yang kukuh untuk AI berasaskan peranti. Model baharu ini dijalankan pada GPU NVIDIA melalui CUDA dan pada peranti Apple (Mac, iPhone, iPad) melalui MLX, menggunakan kernel bit rendah tersuai untuk memastikan pelaksanaan tempatan yang cekap.
Berat model tersedia serta-merta di bawah Lesen Apache 2.0, membenarkan penyepaduan dan pengubahsuaian yang meluas. PrismML memperoleh pusingan benih $22.25 juta yang disokong oleh Khosla Ventures, Cerberus Capital, dan Caltech, dengan Ion Stoica, pengasas bersama Databricks, berkhidmat sebagai penasihat. Pendekatan syarikat memberi tumpuan kepada memanfaatkan lebihan dalam model yang lebih besar untuk mencapai pariti prestasi tinggi dengan saiz fail yang minimum, strategi yang dicadangkan Hassibi akan menjadi lebih berkesan apabila saiz model meningkat.
Butiran sumber: techjuice.pk ↗
Mengapa ia penting
Keluaran ini menunjukkan bahawa AI berkemampuan penaakulan boleh beroperasi secara tempatan pada perkakasan pengguna, menangani kebimbangan privasi dan menghapuskan kependaman awan dan kos langganan. Dengan mencapai pariti prestasi tinggi dengan saiz fail yang jauh lebih kecil, PrismML memajukan peralihan daripada AI yang bergantung kepada awan kepada penaakulan berasaskan peranti yang diedarkan, menjadikan keupayaan AI lanjutan boleh diakses tanpa infrastruktur pusat data yang besar.
Keupayaan untuk menjalankan AI berkemampuan penaakulan secara tempatan pada peranti pengguna menangani kebimbangan privasi yang kritikal dengan memastikan data pengguna tidak pernah meninggalkan peranti. Ini menghapuskan keperluan untuk penghantaran awan, mengurangkan kependaman dan mengalih keluar kos langganan berterusan yang dikaitkan dengan perkhidmatan AI berasaskan awan. Bagi pembangun dan pengguna akhir, ini mewakili anjakan asas ke arah pengedaran, penaakulan berasaskan peranti yang menjimatkan kos dan peribadi.
Kadar pengekalan tinggi 98% prestasi penanda aras dalam fail 5.9GB menunjukkan bahawa teknik pemampatan boleh mengekalkan kecerdasan model besar dengan berkesan. Ini mempunyai implikasi praktikal untuk industri yang memerlukan AI pada peranti, seperti penjagaan kesihatan, kewangan dan pembantu peribadi, di mana kedaulatan data dan tindak balas masa nyata adalah yang terpenting. Sifat sumber terbuka keluaran ini mempercepatkan lagi penerimaan dengan membenarkan komuniti membina dan mengoptimumkan model untuk kekangan perkakasan tertentu.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
Which component of an AI application is the machine-learning model itself?
Apa yang perlu ditonton seterusnya
Pembangun harus memantau ketersediaan kernel bit rendah tersuai untuk seni bina perkakasan yang berbeza dan matlamat yang dinyatakan syarikat untuk memampatkan ratusan-bilion-model parameter dalam beberapa bulan akan datang. Selain itu, potensi penyepaduan dengan peranti Apple, yang dibayangkan oleh masa keluaran, memerlukan perhatian untuk keupayaan AI sisi peranti pada masa hadapan.
PrismML telah menyatakan matlamat seterusnya adalah untuk memampatkan model dengan ratusan bilion parameter dalam beberapa bulan akan datang. Kejayaan dalam bidang ini akan mengesahkan lagi kebolehskalaan pemampatan ternary untuk model kelas sempadan, yang berpotensi menjadikan keupayaan AI yang lebih maju tersedia pada perkakasan tempatan.
Masa keluaran telah membawa kepada spekulasi tentang potensi integrasi dengan peranti Apple. Walaupun Ketua Pegawai Eksekutif Babak Hassibi enggan mengulas mengenai laporan rundingan dengan Apple, sokongan untuk rangka kerja MLX Apple mencadangkan penjajaran strategik dengan ekosistem Apple. Pengumuman masa depan mengenai perkongsian rasmi atau pengoptimuman khusus peranti boleh memberi kesan ketara kepada penggunaan AI tempatan pada platform iOS dan macOS.