Ce sa întâmplat
Apple Machine Learning Research a publicat IDEA Prune, o metodă care combină preantrenamentul pe model extins, tăierea structurată și recuperarea într-un canal de antrenament. Autorii raportează experimente care comprimă modele de limbaj generativ cu 2,8 miliarde de parametri la 1,3 miliarde de parametri folosind până la 2 trilioane de jetoane de pre-antrenare și spun că modelele tăiate rezultate depășesc alternativele studiate în lucrare.
IDEA Prune este prezentată ca o conductă integrată de extindere și tăiere pentru preinstruirea modelului de limbaj generativ. Autorii pornesc de la observația că tăierea structurată poate fi mai eficientă din punct de vedere simbolic decât antrenarea unui model la dimensiunea țintă finală de la zero, dar susțin că munca anterioară trece adesea cu vederea rolul de a antrena un model extins înainte de comprimare. Prima lor întrebare de cercetare este, prin urmare, dacă cheltuirea resurselor de formare pe un model care nu va fi niciodată implementat poate îmbunătăți în continuare modelul mai mic produs la sfârșit. Al doilea este modul de a optimiza extinderea, tăierea și recuperarea ca un singur sistem, mai degrabă decât ca etape deconectate.
Conducta propusă combină trei etape: formarea unui model extins, eliminarea parametrilor prin tăiere structurată și recuperarea modelului tăiat. Pagina de cercetare a lui Apple spune că aceste etape folosesc un singur program al ratei de învățare de recoacere cosinus. Lucrarea introduce, de asemenea, o procedură iterativă de tăiere structurată care elimină treptat parametrii. Potrivit sursei, acest design este destinat să reducă pierderea de cunoștințe asociată cu creșterea ratei de învățare în abordări mai naive de mărire și tăiere, permițând în același timp neuronilor rămași să redistribuie capacitatea modelului pe măsură ce comprimarea progresează.
Experimentele raportate se concentrează pe comprimarea modelelor cu 2,8 miliarde de parametri la 1,3 miliarde de parametri în timpul antrenamentului, cu rulări folosind până la 2 trilioane de jetoane. Autorii descriu experimentele ca fiind cuprinzătoare și spun că metoda integrată oferă performanțe superioare pentru modelele tăiate, precum și dovezi despre eficiența simbolică a preantrenării modelului lărgit. Acestea sunt afirmații făcute de autorii lucrării și rezumate pe pagina de cercetare a Apple; sursa nu furnizează rezultate numerice de performanță, sarcini de referință numite, scoruri de referință, compoziția setului de date sau incertitudine statistică.
Sursa îi identifică pe Yixiao Li, Xianzhi Du, Ajay Jaiswal, Tao Lei, Tuo Zhao, Chong Wang și Jianyu Wang drept autori. Acesta enumeră afilierile Georgia Institute of Technology și Universitatea Texas din Austin pentru unii colaboratori și notează că anumite lucrări au fost făcute în timp ce autorii erau la Apple. Pagina nu spune că Apple a implementat IDEA Prune într-un model în limbaj comercial, a lansat software sau a pus la dispoziție greutățile modelului. Descrie o publicație de cercetare, nu un anunț de produs.
Detalii sursa: machinelearning.apple.com ↗
De ce contează
Lucrarea abordează o problemă practică în IA generativă: reducerea dimensiunii modelului și a cerințelor de inferență fără a elimina prea multe capacități. Afirmația sa centrală este că un model poate beneficia de a fi antrenat mai mare decât dimensiunea sa eventual implementată, cu condiția ca mărirea și tăierea să fie optimizate împreună. Acest lucru ar putea influența modul în care dezvoltatorii schimbă cheltuielile de formare cu eficiența servirii, deși sursa nu oferă suficiente detalii pentru a cuantifica câștigurile sau pentru a stabili gradul de pregătire pentru producție.
Compresia modelului contează deoarece modelele de limbaj generativ trebuie să opereze în limitele bugetelor de calcul, memorie și inferență. Un model mai mic oferă în general o cale către cerințe mai mici de servire, dar tăierea poate elimina capabilități sau poate perturba modul în care funcționează o rețea. Contribuția IDEA Prune, așa cum este descrisă de autorii săi, este de a trata modelul final mai mic ca rezultat al unui proces de instruire coordonat, mai degrabă decât să reducă pur și simplu un model finit sau antrenament doar la dimensiunea țintă.
Cea mai importantă afirmație a lucrării este că supra-parametrizarea temporară poate îmbunătăți calitatea unui model permanent mai mic. Dacă este reprodus, asta ar complica comparația obișnuită între antrenarea unui model de dimensiune țintă de la zero și comprimarea unui model mai mare. Modelul extins ar impune o muncă suplimentară de instruire, dar sursa susține că procesul rezultat poate fi mai eficient din punct de vedere simbol pentru producerea modelului comprimat. Acest lucru ar putea fi relevant pentru organizațiile care decid dacă costurile mai mari de formare inițială sunt justificate de costuri mai mici de inferență.
Designul de tăiere iterativă vorbește și despre o provocare practică în compresia structurată. Eliminarea treptată a parametrilor poate oferi părților supraviețuitoare ale unui model mai multe șanse de adaptare decât un singur pas de tăiere bruscă. Sursa leagă în mod specific metoda de conservarea cunoștințelor și redistribuirea capacității între neuronii supraviețuitori. Cu toate acestea, nu stabilește modul în care aceste efecte variază între arhitecturi, familii de modele, limbi sau aplicații, astfel încât semnificația publică rămâne mai degrabă o constatare a cercetării decât o soluție generală demonstrată.
Metoda ar putea conta în cele din urmă pentru sistemele care trebuie să ruleze cu bugete de inferență restrânse, dar sursa nu cuantifică economiile de memorie, latența, consumul de energie sau costul de operare. De asemenea, nu arată că modelele comprimate se potrivesc cu modele mai mari în ceea ce privește siguranța, realitatea, robustețea sau sarcinile specializate. „Performanța superioară” nu este suficientă pentru a determina valoarea practică fără a cunoaște punctul de comparație, condițiile de evaluare și compromisul dintre economiile suplimentare de preinstruire și implementarea ulterioară.
Mecanism interactiv: cum funcționează de fapt
Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.
Which component of an AI application is the machine-learning model itself?
Ce să urmărești în continuare
Următoarele întrebări importante sunt cât de mari sunt îmbunătățirile raportate de performanță, ce sarcini și seturi de date le produc și dacă metoda reduce costul total după luarea în considerare a preformarii extinse. De asemenea, sursa nu identifică cerințele hardware, disponibilitatea codului sau modelului sau rezultatele implementării. Reproducerea independentă și comparațiile între dimensiunile modelului, arhitecturile și limbile ar ajuta la determinarea dacă IDEA Prune este util în general sau în principal eficient în experimentele raportate.
Prima prioritate pentru urmărire este evaluarea detaliată a lucrării. Cititorii ar trebui să caute reperele exacte, seturile de date, curbele de pierdere și liniile de bază utilizate pentru a susține afirmația că IDEA Prune produce modele superioare tăiate. Va conta, de asemenea, dacă îmbunătățirile sunt măsurate față de un model cu parametri de 1,3 miliarde antrenat direct de la zero, un model de 2,8 miliarde de parametri tăiat în mod convențional sau alte metode de compresie. Rezumatul sursei nu specifică aceste comparații.
A doua problemă este economia. Antrenamentul cu până la 2 trilioane de jetoane și un model intermediar extins poate necesita calcule suplimentare substanțiale. O evaluare utilă ar compara costul total de formare cu economiile obținute prin deservirea unui model cu parametri de 1,3 miliarde, inclusiv memorie, latență și energie. Sursa nu oferă cifre privind hardware-ul, timpul de execuție sau costurile, așa că nu este posibil să concluzionam că metoda este mai ieftină în general din informațiile furnizate.
Cercetătorii și practicienii ar trebui, de asemenea, să testeze dacă abordarea se transferă dincolo de setarea de compresie raportată. Sursa numește o reducere, de la 2,8 miliarde la 1,3 miliarde de parametri, dar nu descrie rezultatele pentru alte rapoarte, arhitecturi, limbi sau sarcini din aval. Studiile independente ar putea arăta dacă metoda depinde de anumite programe de antrenament sau structuri de tăiere și dacă redistribuirea capacității rămâne eficientă la niveluri de compresie mai agresive.
În cele din urmă, urmăriți dovezile implementării și implementării. Pagina Apple nu precizează că au fost lansate coduri, puncte de control sau o rețetă de antrenament reproductibilă și nu raportează nicio utilizare în producție. Lucrările ulterioare ar trebui să examineze modelele comprimate pentru fiabilitate, siguranță și regresii de capacitate, în plus față de performanța standard. Până când aceste detalii sunt disponibile, IDEA Prune este cel mai bine înțeleasă ca un rezultat al cercetării de formare potențial util, ale cărui limite practice rămân nerezolvate.