Résumé
Grokking lu yéeme la, fu reso neuronal bi njëkka xam done yi mu tàggat, mu toog ci njubte bu jege-zero ci diir bu yàgg, ba noppi ci saasi mu generalise lu yàgg ginaaw bi njubteg tàggat bi yeggee 100%. Dafay soppi xalaat biy wax ni jàng ak yamale dañuy ànd.
Grokking ak Généralisation bu yeex ñu ngi toog ci jumtukaayu IA bi. Soo ko xamee, yeneen mbir ci IA dañuy gëna yomba jàngat ak méngale.
Plongeur bu xóot
__AIU_PROTECTED_10_ Gëstukat yi ñoo ko gis ci 2021 ci ay liggéey yu ndaw yu melni arithmétique modulaire, grokking dafay wane courbe bu am ñaari fase yu ñaw. Ci ndoorte li, model bi méngoo na bu baax ak tàggat yaram bi, ci noonu la performance validation bi di dess ci chance, di nuru lu ëpp fit. Ginaaw loolu, ginaaw ay junni wala sax ay milioŋ ci yeneen jéego yu amul benn jéego bu leer, njubte gi ci saasi dafay tëb ba jege-baax. Faram-fàcce bi gëna am solo mooy ni diisaay bi di wàññeeku (regularization) dafay sonal reso bi ndànk ngir mu bàyyi ab pexe buñu xam bu yomba dagg ba noppi gis benn bu kompact, buñ yamale buy jàpp sàrt yi ci suuf, ci misaal di wane yokk modular ni ay wëréelu ci kaw ab cercle. Grokking dafay gëna feeñ ci ensemble done yu ndaw, waaye xam ko dafay leer ci mekanik yu gëna xóot ci kañ ak lu tax generalisation di feeñ.
Gis-gis xarala
Jàngat mekanik yi dañu soppi reso grokked yi, ñu gis ni dañuy jëfandikoo algorithm yu sell, lu ci melni jëfandikoo ay embedding yu nuru Fourier ngir def arithmétique modulaire jaaraleko ci dàntite trigonometrik. Jaar-jaar bi mingi méngoo ak diisaayu reso bi di gëna néew, di gëna wàññeeku ci wàllu regularisasioŋ: memorisation dafa soxla diisaay yu yaatu te jaxasoo, waaye circuit generalisation bi moo gëna yomba def. Kon Grokking dafay wane joŋante bi am ci digganté ab pexe ci xel bu gaaw ci gis ak ab pexe bu yeex defar, bu gëna am njariñ ci yamale.
Xam Grokking ak yeexal généralisasioŋ
Grokking lu yéeme la, fu reso neuronal bi njëkka xam done yi mu tàggat, mu toog ci njubte bu jege-zero ci diir bu yàgg, ba noppi ci saasi mu generalise lu yàgg ginaaw bi njubteg tàggat bi yeggee 100%. Dafay soppi xalaat biy wax ni jàng ak yamale dañuy ànd. Grokking ak Généralisation bu yeex ñu ngi toog ci jumtukaayu IA bi. Soo ko xamee, yeneen mbir ci IA dañuy gëna yomba jàngat ak méngale. Ngir tabax xam-xam bu xóot, jàppal Grokking ak Delayed Generalization ni xeetu liggéey, du benn man-man: fësal njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo Grokking ak Delayed Generalization dañuy njëkka tabax xeetu konseptioŋ yu dëgër, ba noppi ñu méngale xeetu liggéey yooyu ak ay jafe-jafe liggéey dëgg. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay. Ci jamano jooju, ekip yu wuute mën nañu jëfandikoo benn baat ci anam wu wuute, kon teela leeral yaatuwaayam. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay.
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Mën nga laaj laaj yu gëna baax ci samp gi balaa ngay dugal xaalis wala sa jotu liggéey.
Mën nga laaj laaj yu gëna baax ci samp gi balaa ngay dugal xaalis wala sa jotu liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekip yi bokk xam-xam ñoo gëna mëna jël yenn dogal ci wàllu produit, politik ak jàng.
Ekip yi bokk xam-xam ñoo gëna mëna jël yenn dogal ci wàllu produit, politik ak jàng. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Jàngat liggéeyu arithmétik modular ngir soppi ingenieur yi ci sircuit yi reso bi di jàng
Wane ni poid bi di wàññeeku dafay joge ci memorisasioŋ dem ci generalisasioŋ dëgg
Yegle gëstu tekki ci joxe xeetu doxalin bu sell, xam bu baax ngir jàngat
Àrtu praktiseur yi ni plateau validation teel du saa yu nekk tekki ni model bi daa ñàkk jàng
Modèlu jëfandikoo
Grokking ak yeexal jëmmal ci jëf
Jàngat liggéeyu arithmétik modular ngir soppi ingenieur yi ci sircuit yi reso bi di jàng.
Jàngat liggéey arithmétique modular ngir soppi-ingenieur ci sircuit yi reso bi jàng Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bu gàtt.
Grokking ak yeexal jëmmal ci jëf
Wane ni diisaay bi di wàññeeku dafay joge ci memorisasioŋ dem ci generalisasioŋ dëgg.
Wane ni poids decay di dawal coppite ci memorisation ci dëgg generalisation Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee thresholds kalite ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ak topp njuréefi produit ak njëgu njuumte ci diir bi.
Grokking ak yeexal jëmmal ci jëf
Yegle gëstu tekki ci joxe xeetu jeffin ju sell, ñu xam bu baax ngir jàngat.
Yegle gëstu tekki ci joxe sell, xam bu baax xeetu jeffin ngir jàngat Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxe ay leeral ci kalite ci kanam, tëye yoonu eskalaasioŋ nit ngir jafe-jafe yi, ak topp njuréefi liggéey ak njëgu njuumte ci diir bi.
Grokking ak yeexal jëmmal ci jëf
Àrtu praktiseur yi ni plateau validation teel du saa yu nekk muy tekki ni model bi ñàkk na jàng.
Àrtu praktiseur yi ni plateau validation teel mënul saa yu nekk tekki ni model bi ñàkk na jàng. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Risk yi ak balustrade yi
Ekip yu bari mën nañu jëfandikoo benn baat ci anam wu wuute, kon teela leeral yaatuwaayam.
Benchmark yi mën nañu nuru lu am doole waaye performance yi ci àdduna bi duñu tolloo.
Bëgg kalite done ak palaŋu jàngat dafay faral di jur njariñ yu yomba dagg.
Roadmap ngir samp gi
Tàmbaleel ci joxe leeral ci làkk wu leer ci njariñ li nga soxla.
Tàmbaleel ci joxe leeral ci làkk wu leer ci njariñ li nga soxla. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Tannal benn metric bu baax ak benn anam bu baaxul balaa ngay saytu.
Tannal benn metric bu baax ak benn anam bu baaxul balaa ngay saytu. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Doxal ab pilote bu ndaw ak ay done yu representatif, du ab demo bu leer.
Doxal ab pilote bu ndaw ak ay done yu representatif, du ab demo bu leer. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Dokumenteer fi Grokking ak Generalisation bu yeex di jàppale ak fi pexe yu gëna yomba gëna baax.
Dokumenteer fi Grokking ak Generalisation bu yeex di jàppale ak fi pexe yu gëna yomba gëna baax. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.