Ce sa întâmplat
Apple Machine Learning Research a postat o lucrare, listată în domeniile Confidențialitate și Data Science și Adnotare, în care propune ca dezînvățarea automată să ignore punctele de antrenament a căror influență măsurată asupra rezultatelor modelului este neglijabilă, despre care autorii raportează că reduce calculul dezînvățare cu până la aproximativ 50% în exemplele lor.
Apple Machine Learning Research a publicat o lucrare intitulată „When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs”, atribuită lui Udi Wieder, Vitaly Feldman, Robert Fisher și Anat Kleiman. Pagina de publicație plasează lucrarea în două domenii de cercetare, Confidențialitate și Știința datelor și Adnotare, și o etichetează ca lucrare. Subiectul este dezînvățarea automată: problema eliminării efectului exemplelor specifice de instruire dintr-un model care a fost deja instruit, de obicei pentru că o persoană a cerut ștergerea datelor sau pentru că o obligație de confidențialitate o impune. Pagina notează că Kleiman este afiliat la Harvard și că munca a fost făcută în timp ce era la Apple.
Argumentul declarat al lucrării, așa cum este rezumat în rezumatul de pe site-ul Apple, este că metodele de dezînvățare existente tratează fiecare punct dintr-un „set de uitare” - colecția de exemple care trebuie eliminate - ca fiind la fel de important și că această presupunere este risipitoare. Autorii spun că au comparat funcțiile de influență în cadrul sarcinilor de limbaj și viziune. Funcțiile de influență sunt o tehnică stabilită pentru estimarea cât de mult un exemplu de antrenament individual a schimbat parametrii sau predicțiile unui model. Pe baza acestei comparații, autorii raportează identificarea unor subseturi de date de antrenament al căror impact asupra rezultatelor modelului este neglijabil și propun un cadru care micșorează setul de date înainte de rularea unei proceduri de dezînvățare.
Numărul titlului este al lucrării: „economii semnificative de calcul (până la aproximativ 50 la sută) pe exemple empirice din lumea reală”. Această afirmație și afirmația că subseturile cu impact neglijabil pot fi identificate în mod fiabil provin de la autori, așa cum sunt rezumate pe pagina Apple. Ele nu sunt verificate independent aici. Rezumatul nu denumește modelele, seturile de date sau algoritmii de dezînvățare de bază utilizați; nu precizează cum este definit sau limitat impactul „neglijabil”; și nu descrie valorile utilizate pentru a judeca dacă dezînvățarea a reușit. Cuvântul „gratuit” din titlu se referă la costul de calcul, nu la orice pretenție despre garanțiile de confidențialitate.
Mai multe detalii sunt pur și simplu necunoscute de la sursă. Pagina are o lună de publicare august 2026, în timp ce o intrare de lecturi conexe cu același titlu pe aceeași pagină este datată 17 iulie 2026; pagina nu explică cele două date. Nu există nicio indicație vizibilă a locului de evaluare inter pares sau a acceptării conferinței, nicio legătură către codul lansat, greutățile modelului sau artefactele de evaluare pe pagină și nicio declarație despre dacă Apple utilizează această abordare în orice produs de livrare sau canal intern de date. De asemenea, rezumatul nu abordează costul de calcul al estimării influenței în primul rând, care pentru modelele mari este în sine o cheltuială substanțială și care ar trebui să fie luată în considerare la orice economii raportate.
Detalii sursa: machinelearning.apple.com ↗
De ce contează
Onorarea cererilor de ștergere a datelor pe modele antrenate este costisitoare, iar lucrarea reîncadează dezînvățarea de la un cost pe punct uniform într-o problemă de triare - dar triajul bazat pe efecte este un argument de eficiență, nu o garanție legală sau de securitate stabilită.
Ștergerea datelor a devenit mai degrabă o problemă de inginerie operațională decât una pur legală. Atunci când un utilizator își retrage consimțământul sau își exercită dreptul de ștergere, eliminarea rândurilor dintr-o bază de date este simplă; eliminarea a ceea ce un model antrenat absorbit din acele rânduri nu este. Opțiunea de încredere este reinstruirea fără date, ceea ce este suficient de costisitor încât organizațiile tind să o grupeze în cicluri periodice de reinstruire. Metodele aproximative de dezînvățare promit ceva mai rapid, dar sunt mai greu de verificat. Munca care scade costul operațiunii are în vedere dacă cererile de ștergere pot fi onorate în mod obișnuit și prompt sau dacă acestea stau la coadă până la următoarea cursă de antrenament.
Mișcarea conceptuală din această lucrare este, fără îndoială, mai semnificativă decât cifra eficienței. Dacă un exemplu specific nu a lăsat în mod demonstrabil nicio urmă măsurabilă în comportamentul unui model, atunci este posibil să nu existe nimic de anulat pentru acel exemplu. Acest lucru transformă dezînvățarea de la un cost pe punct uniform într-un exercițiu de triaj: măsurați mai întâi, apoi cheltuiți calculul numai acolo unde poate schimba comportamentul modelului. Pentru echipele care gestionează cererile de ștergere în volum, un cost variabil care crește în funcție de cât de multe date au contat efectiv este o problemă de planificare diferită de un cost fix care crește în funcție de numărul de solicitări sosite.
Limitarea importantă este că obligațiile de confidențialitate sunt în general scrise în jurul cererii, nu în jurul efectului măsurat. Este posibil ca un organism de reglementare sau o persoană afectată să nu accepte „modelul abia l-a învățat” ca dovadă că o obligație de ștergere a fost îndeplinită, în special pentru că estimările de influență sunt aproximări a căror acuratețe este cunoscută ca variază în funcție de model, procedura de instruire și metoda de aproximare utilizată. Lucrarea, pe baza rezumatului său, își încadrează contribuția ca economii computaționale; nu pretinde că omiterea punctelor cu influență scăzută satisface vreo lege anume și această acoperire nu ar trebui să fie interpretată ca spunând că o face.
Există, de asemenea, o dimensiune de securitate pe care abstractul o lasă deschisă. Dacă un punct este clasificat greșit ca cu influență scăzută și lăsat pe loc, întrebarea practică este dacă acel punct rămâne recuperabil - prin deducerea apartenenței, care testează dacă o anumită înregistrare a fost în setul de antrenament sau prin extragerea directă a textului memorat. Memorarea în modele mari este cunoscută a fi neuniformă, cu înregistrări rare sau aberante, adesea mai expuse decât cele tipice, care este tocmai populația în care estimarea influenței este cel mai probabil să fie incertă. Rezumatul nu raportează dacă autorii și-au evaluat cadrul împotriva unor astfel de atacuri, astfel încât rezistența acestuia la acestea este necunoscută din această sursă.
Interactive Mechanism: How It Actually Works
Explore the underlying technology behind this development interactively.
crm_get_transaction(id='4092').In AI training, what is an "epoch"?
Ce să urmărești în continuare
Fie că lucrarea completă raportează modelele, seturile de date, pragurile și evaluările privind atacul la confidențialitate din spatele cifrei de 50 la sută, dacă costul influenței informatice în sine este compensat și dacă autoritățile de reglementare sau alte laboratoare acceptă sau contestă ideea că punctele cu influență scăzută pot fi lăsate pe loc.
Primul lucru de căutat este lucrarea completă din spatele rezumatului. Întrebările cheie includ ce modele și seturi de date au fost utilizate, cu ce metode de dezînvățare de bază au fost măsurate economiile, cu ce aproximare a funcției de influență a fost aleasă, cum a fost stabilit pragul pentru impactul „neglijabil” și dacă cifra de până la 50% reflectă un caz tipic sau cel mai bun caz dintre exemplele testate. Dacă lucrarea a fost acceptată într-un loc evaluat de colegi și dacă codul sau artefactele de evaluare sunt lansate, va determina cât de repede pot verifica alții rezultatul.
În al doilea rând, urmăriți cum se măsoară calitatea uitare. Măsurile de similaritate a rezultatelor - care arată că un model se comportă ca și cum nu ar fi văzut niciodată datele - sunt dovezi mai slabe decât evaluarea contradictorie care utilizează atacuri de inferență de membru sau de extracție. De asemenea, merită urmărită și contabilitatea: dacă economiile raportate sunt nete de costul de calcul influențează estimările și cum se scalează acest cost pe măsură ce modelele și seturile uitate cresc. O metodă care economisește jumătate din calculul dezînvățare, dar necesită o trecere de influență costisitoare poate arăta diferit la scară de frontieră decât în exemple mai mici.
În al treilea rând, urmăriți recepția de reglementare. Triajul bazat pe efecte invită o întrebare pe care autoritățile de protecție a datelor nu au soluționat-o în ghidul public: dacă un operator poate refuza să modifice un model pe motiv că contribuția unei înregistrări a fost nemăsurat de mică. Orice orientare, acțiune de aplicare sau standarde care abordează obligațiile de ștergere pentru modelele instruite ar determina dacă această abordare este utilizabilă în fluxurile de lucru de conformitate sau rămâne o tehnică de eficiență internă.
În cele din urmă, urmăriți adoptarea și respingerea. Replicarea independentă pe diferite arhitecturi și distribuții de date ar stabili dacă subseturile cu influență scăzută sunt comune și identificabile în general, sau un artefact al unor setări particulare. Încercările de a întrerupe metoda - construirea de cazuri în care un punct pare cu o influență redusă, dar rămâne extractibil - ar fi la fel de informative. Și rămâne necunoscut dacă Apple intenționează să folosească acest lucru în producție; pagina de publicație nu face o astfel de declarație și nici una nu trebuie presupusă.