Résumé
Chinchilla ab DeepMind bu 2022 gisna ni modelu lakk yu mag yi bariwoon nañu ci anam wu baaxul: ngir budget ordinatër bu takku danga wara scale parametre yi ak done yi ci anam wu tolloo, baña tabax model bu gëna mag rek. Dafa soppi anam wi liggéeyukaay bi di ekilibre dayo model bi ak done yiñ tàggat.
Chinchilla Tàggat-Optimal mingi toog ci jumtukaayi IA bi gëna am solo. Soo ko xamee, yeneen mbir ci IA dañuy gëna yomba jàngat ak méngale.
Plongeur bu xóot
Këyitu Chinchilla bu DeepMind xoolaatna eskalaasioŋ ba noppi tàggat lu ëpp 400 model ngir gis ekilibre bi gëna baax ci xayma. Regle bu am solo bi mooy: dayo model bi ak jeton tàggat yi dañu wara màgg ci lockstep, lu tollu ci 20 jeton tàggat ci parametre bu nekk. Ngir firnde ko, dañu tàggat Chinchilla, benn model bu am 70 milyaar ciy parametre ci 1.4 trillion ciy jeton, ñu jëfandikoo benn calcul bi Gopher bu am 280 milyaar ciy parametre tàggat ci jeton yu néew lool. Chinchilla, ak limu gëna ndaw ñeenti yoon, dafa raw Gopher, GPT-3, ak yeneen mag ci daanaka bépp référence. Njàngale mi dafa soppi OpenAI conclusion bi ñu njëkka wax ni dafa taamu dayo ci done, di wane ni model flagship yu bari dañu bàyyi performance ci kaw taabal ji ndax dañu yaatu lool te xiif lool ci done.
Gis-gis xarala
Chinchilla mën na ñàkk L(N,D) = E + A·N^(-α) + B·D^(-β), α ak β ñoom ñaar jege nañu 0.34, loolu dafay tekki ni parametre yi ak done yi dañuy bokk ci anam wu tolloo. Optimiser lii ci biir benn constraint calcul fixe (calcul ≈ 6·N·D ngir transformateur yi) dafay joxe resultaa biy méngoo. Benn model bu gëna ndaw, bari ay done moo gëna xéewale ci inference, kon njariñam mingi aju ci jëfandikoo gi, du tàggat rek.
Xam Chinchilla ci xayma-tàggat bu gëna baax
Chinchilla ab DeepMind bu 2022 gisna ni modelu lakk yu mag yi bariwoon nañu ci anam wu baaxul: ngir budget ordinatër bu takku danga wara scale parametre yi ak done yi ci anam wu tolloo, baña tabax model bu gëna mag rek. Dafa soppi anam wi liggéeyukaay bi di ekilibre dayo model bi ak done yiñ tàggat. Chinchilla Tàggat-Optimal mingi toog ci jumtukaayi IA bi gëna am solo. Soo ko xamee, yeneen mbir ci IA dañuy gëna yomba jàngat ak méngale. Ngir tabax xam-xam bu xóot, jàppal Chinchilla Compute-Optimal Training ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ba noppi tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo Chinchilla Compute-Optimal Training dañuy njëkka tabax xeetu xalaat yu dëgër, ba noppi ñu méngale xeetu liggéey yooyu ak jafe-jafe yi ci liggéey bi dëgg. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay. Ci jamano jooju, ekip yu wuute mën nañu jëfandikoo benn baat ci anam wu wuute, kon teela leeral yaatuwaayam. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay.
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Mën nga laaj laaj yu gëna baax ci samp gi balaa ngay dugal xaalis wala sa jotu liggéey.
Mën nga laaj laaj yu gëna baax ci samp gi balaa ngay dugal xaalis wala sa jotu liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekip yi bokk xam-xam ñoo gëna mëna jël yenn dogal ci wàllu produit, politik ak jàng.
Ekip yi bokk xam-xam ñoo gëna mëna jël yenn dogal ci wàllu produit, politik ak jàng. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Tann ngir tàggat xeetu parametre 7-milyaar ci 2 trillion jetons moo gën xeetu 30-milyaar ci done yu néew lool ngir benn budget.
Xayma nañu ni benn model bu am 10 milyaar ci paramet yi defa bëgg lu tollu ci 200 milyaar ciy jeton ngir mëna dem ba ci barab bi gëna baax ci xayma.
Justifier model bu gëna ndaw biñ dugal ngir wàññi njëgu inference bu laaj bu nekk boole ci méngoo ak kalite rival bu gëna mag.
Saytu ab xeetu model bu nekk te gis ni deful luñu ko tàggat, ba noppi waajal ab tàggat bu gëna gudd ci barabu yokk ay parametre.
Modèlu jëfandikoo
Chinchilla xam-xam bi gëna baax ci jëfandikoo
Tann ngir tàggat xeetu parametre 7-milyaar ci 2 trillion jetons moo gën xeetu 30-milyaar ci done yu néew lool ngir benn budget.
Tann ngir tàggat benn xeetu 7-milyaar-parametre ci 2 trillion jetons ludul benn xeetu 30-milyaar ci done yu néew lool ngir benn budget Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ak topp njuumte yi ci diiru produit ak diir.
Chinchilla xam-xam bi gëna baax ci jëfandikoo
Xayma nañu ni benn model bu am 10 milyaar ci paramet yi defa bëgg lu tollu ci 200 milyaar ciy jeton ngir mëna dem ba ci barab bi gëna baax ci xayma.
Xayma ni benn xeetu 10-milyaar-parametre bëgg lu tollu ci 200 milyaar jetons ngir jot ci barab bu neex bi gëna baax ci xayma. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Chinchilla xam-xam bi gëna baax ci jëfandikoo
Justifier model bu gëna ndaw biñ dugal ngir wàññi njëgu inference bu laaj bu nekk boole ci méngoo ak kalite rival bu gëna mag.
Justifier ab model bu gëna ndaw buñu dugal ngir dagg njëgu inference bu laaj bu nekk, boole ci méngoo ak kalite rival bu gëna mag. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee thresholds kalite ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Chinchilla xam-xam bi gëna baax ci jëfandikoo
Saytu ab xeetu model bu nekk te gis ni deful luñu ko tàggat, ba noppi waajal ab tàggat bu gëna gudd ci barabu yokk ay parametre.
Audit benn model bu nekk ak mujjee ni defa undertrained, ba noppi waajal ab tàggat yaram bu gëna gudd ci barabu yokk parametre Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Risk yi ak balustrade yi
Ekip yu bari mën nañu jëfandikoo benn baat ci anam wu wuute, kon teela leeral yaatuwaayam.
Benchmark yi mën nañu nuru lu am doole waaye performance yi ci àdduna bi duñu tolloo.
Bëgg kalite done ak palaŋu jàngat dafay faral di jur njariñ yu yomba dagg.
Roadmap ngir samp gi
Tàmbaleel ci joxe leeral ci làkk wu leer ci njariñ li nga soxla.
Tàmbaleel ci joxe leeral ci làkk wu leer ci njariñ li nga soxla. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Tannal benn metric bu baax ak benn anam bu baaxul balaa ngay saytu.
Tannal benn metric bu baax ak benn anam bu baaxul balaa ngay saytu. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Doxal ab pilote bu ndaw ak ay done yu representatif, du ab demo bu leer.
Doxal ab pilote bu ndaw ak ay done yu representatif, du ab demo bu leer. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Dokument fu Chinchilla Compute-Optimal Tàggat di jàppale ak fi pexe yu gëna yomba gëna baax.
Dokument fu Chinchilla Compute-Optimal Tàggat di jàppale ak fi pexe yu gëna yomba gëna baax. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.