Apa yang terjadi
Apple Machine Learning Research menerbitkan IDEA Prune, sebuah metode yang menggabungkan pra-pelatihan model yang diperbesar, pemangkasan terstruktur, dan pemulihan dalam satu jalur pelatihan. Para penulis melaporkan eksperimen yang mengompresi model bahasa generatif 2,8 miliar parameter menjadi 1,3 miliar parameter menggunakan sebanyak 2 triliun token pra-pelatihan, dan mengatakan bahwa model yang dipangkas menghasilkan kinerja yang lebih baik daripada alternatif yang dipelajari dalam makalah ini.
IDEA Prune disajikan sebagai saluran pembesaran dan pemangkasan terintegrasi untuk pra-pelatihan model bahasa generatif. Para penulis memulai dari pengamatan bahwa pemangkasan terstruktur bisa lebih efisien daripada melatih model pada ukuran target akhir dari awal, namun berpendapat bahwa pekerjaan sebelumnya sering kali mengabaikan peran pra-pelatihan model yang diperbesar sebelum kompresi. Oleh karena itu, pertanyaan penelitian pertama mereka adalah apakah menghabiskan sumber daya pelatihan pada model yang tidak akan pernah diterapkan masih dapat meningkatkan model kecil yang dihasilkan pada akhirnya. Yang kedua adalah bagaimana mengoptimalkan pembesaran, pemangkasan dan pemulihan sebagai satu sistem dan bukan sebagai tahapan yang tidak berhubungan.
Pipeline yang diusulkan menggabungkan tiga tahap: melatih model yang diperbesar, menghapus parameter melalui pemangkasan terstruktur, dan memulihkan model yang telah dipangkas. Halaman penelitian Apple mengatakan tahapan ini menggunakan jadwal kecepatan pembelajaran cosine-annealing tunggal. Makalah ini juga memperkenalkan prosedur pemangkasan terstruktur berulang yang menghilangkan parameter secara bertahap. Menurut sumber tersebut, desain ini dimaksudkan untuk mengurangi kehilangan pengetahuan yang terkait dengan peningkatan kecepatan pembelajaran dalam pendekatan pembesaran dan pemangkasan yang lebih naif, sekaligus memungkinkan neuron yang tersisa untuk mendistribusikan ulang kapasitas model saat kompresi berlangsung.
Eksperimen yang dilaporkan berfokus pada kompresi model 2,8 miliar parameter menjadi 1,3 miliar parameter selama prapelatihan, dengan proses yang menggunakan hingga 2 triliun token. Para penulis menggambarkan eksperimen tersebut sebagai komprehensif dan mengatakan bahwa metode terintegrasi memberikan kinerja yang unggul untuk model yang dipangkas, serta bukti tentang efisiensi token dari pra-pelatihan model yang diperbesar. Ini adalah klaim yang dibuat oleh penulis makalah dan dirangkum di halaman penelitian Apple; sumber tidak memberikan hasil kinerja numerik, tugas tolok ukur, skor dasar, komposisi kumpulan data, atau ketidakpastian statistik.
Sumber tersebut mengidentifikasi Yixiao Li, Xianzhi Du, Ajay Jaiswal, Tao Lei, Tuo Zhao, Chong Wang dan Jianyu Wang sebagai penulisnya. Ini mencantumkan afiliasi Institut Teknologi Georgia dan Universitas Texas di Austin untuk beberapa kontributor dan mencatat bahwa pekerjaan tertentu telah dilakukan saat penulis berada di Apple. Halaman tersebut tidak menyatakan bahwa Apple telah menerapkan IDEA Prune dalam model bahasa komersial, merilis perangkat lunak, atau menyediakan bobot model. Ini menggambarkan publikasi penelitian, bukan pengumuman produk.
Detail sumber: machinelearning.apple.com ↗
Mengapa itu penting
Pekerjaan ini mengatasi masalah praktis dalam AI generatif: mengurangi ukuran model dan permintaan inferensi tanpa membuang terlalu banyak kemampuan. Klaim utamanya adalah bahwa suatu model dapat memperoleh manfaat dengan dilatih lebih besar daripada ukuran yang akhirnya diterapkan, asalkan pembesaran dan pemangkasan dioptimalkan secara bersamaan. Hal ini dapat mempengaruhi cara pengembang menukarkan biaya pelatihan dengan efisiensi pelayanan, meskipun sumber tersebut tidak memberikan rincian yang cukup untuk menghitung keuntungan atau menentukan kesiapan produksi.
Kompresi model penting karena model bahasa generatif harus beroperasi dalam batasan anggaran komputasi, memori, dan inferensi. Model yang lebih kecil umumnya menawarkan jalur menuju persyaratan penayangan yang lebih rendah, namun pemangkasan dapat menghilangkan kemampuan atau mengganggu fungsi jaringan. Kontribusi IDEA Prune, sebagaimana dijelaskan oleh penulisnya, adalah memperlakukan model akhir yang lebih kecil sebagai hasil dari proses pelatihan yang terkoordinasi, bukan sekadar memotong model yang sudah jadi atau pelatihan hanya sesuai ukuran target.
Klaim paling penting dari makalah ini adalah bahwa parameterisasi berlebih yang bersifat sementara dapat meningkatkan kualitas model yang lebih kecil secara permanen. Jika direproduksi, hal ini akan mempersulit perbandingan yang biasa dilakukan antara melatih model ukuran target dari awal dan mengompresi model yang lebih besar. Model yang diperbesar akan memerlukan pekerjaan pelatihan tambahan, namun sumber tersebut berpendapat bahwa proses yang dihasilkan bisa lebih efisien untuk memproduksi model terkompresi. Hal ini mungkin relevan bagi organisasi yang memutuskan apakah biaya pelatihan awal yang lebih tinggi dapat dibenarkan karena biaya inferensi berkelanjutan yang lebih rendah.
Desain pemangkasan berulang juga menunjukkan tantangan praktis dalam kompresi terstruktur. Penghapusan parameter secara bertahap dapat memberikan lebih banyak peluang bagi bagian model yang masih ada untuk beradaptasi dibandingkan dengan satu langkah pemangkasan mendadak. Sumber tersebut secara khusus menghubungkan metode ini dengan pelestarian pengetahuan dan redistribusi kapasitas di antara neuron yang masih hidup. Namun, hal ini tidak menjelaskan bagaimana dampak-dampak tersebut berbeda-beda di seluruh arsitektur, kelompok model, bahasa atau aplikasi, sehingga signifikansi publik tetap merupakan temuan penelitian dan bukan solusi umum yang telah dibuktikan.
Metode ini pada akhirnya dapat berguna bagi sistem yang perlu dijalankan dengan anggaran inferensi terbatas, namun sumbernya tidak mengukur penghematan memori, latensi, konsumsi daya, atau biaya pengoperasian. Hal ini juga tidak menunjukkan bahwa model terkompresi cocok dengan model yang lebih besar dalam hal keselamatan, faktualitas, ketahanan, atau tugas khusus. “Kinerja unggul” tidak cukup untuk menentukan nilai praktis tanpa mengetahui titik perbandingan, kondisi evaluasi, dan trade-off antara penghematan pra-pelatihan ekstra dan penerapan di kemudian hari.
Mekanisme Interaktif: Cara Kerja Sebenarnya
Jelajahi teknologi yang mendasari di balik perkembangan ini secara interaktif.
Which component of an AI application is the machine-learning model itself?
Apa yang harus ditonton selanjutnya
Pertanyaan penting berikutnya adalah seberapa besar peningkatan kinerja yang dilaporkan, tugas dan kumpulan data apa yang menghasilkannya, dan apakah metode ini mengurangi total biaya setelah memperhitungkan pra-pelatihan yang lebih besar. Sumber juga tidak mengidentifikasi persyaratan perangkat keras, ketersediaan kode atau model, atau hasil penerapan. Reproduksi dan perbandingan independen antar ukuran model, arsitektur, dan bahasa akan membantu menentukan apakah IDEA Prune berguna secara luas atau efektif dalam eksperimen yang dilaporkan.
Prioritas pertama untuk tindak lanjut adalah evaluasi makalah secara rinci. Pembaca harus mencari tolok ukur, kumpulan data, kurva kerugian, dan garis dasar yang tepat yang digunakan untuk mendukung klaim bahwa IDEA Prune menghasilkan model pemangkasan yang unggul. Penting juga apakah peningkatan diukur terhadap model 1,3 miliar parameter yang dilatih langsung dari awal, model 2,8 miliar parameter yang dipangkas secara konvensional, atau metode kompresi lainnya. Ringkasan sumber tidak merinci perbandingan ini.
Isu kedua adalah ekonomi. Pelatihan dengan hingga 2 triliun token dan model perantara yang diperbesar mungkin memerlukan komputasi tambahan yang besar. Penilaian yang bermanfaat akan membandingkan total biaya pelatihan dengan penghematan dari penyajian model 1,3 miliar parameter, termasuk memori, latensi, dan energi. Sumber tersebut tidak memberikan angka perangkat keras, waktu proses, atau biaya, sehingga tidak mungkin untuk menyimpulkan bahwa metode ini secara keseluruhan lebih murah dari informasi yang diberikan.
Peneliti dan praktisi juga harus menguji apakah pendekatan tersebut melampaui pengaturan kompresi yang dilaporkan. Sumber menyebutkan satu pengurangan, dari 2,8 miliar menjadi 1,3 miliar parameter, namun tidak menjelaskan hasil untuk rasio, arsitektur, bahasa, atau tugas hilir lainnya. Studi independen dapat menunjukkan apakah metode ini bergantung pada jadwal pelatihan tertentu atau struktur pemangkasan, dan apakah redistribusi kapasitas tetap efektif pada tingkat kompresi yang lebih agresif.
Terakhir, perhatikan bukti penerapan dan penerapannya. Halaman Apple tidak menyatakan bahwa kode, pos pemeriksaan, atau resep pelatihan yang dapat direproduksi telah dirilis, dan melaporkan tidak ada penggunaan produksi. Pekerjaan lebih lanjut harus memeriksa model terkompresi untuk regresi keandalan, keamanan dan kemampuan selain kinerja standar. Hingga rincian tersebut tersedia, IDEA Prune paling baik dipahami sebagai hasil penelitian pelatihan yang berpotensi bermanfaat, namun batasan praktisnya masih belum terselesaikan.