Awọn Ofin Iwọn fun Awọn Nẹtiwọọki Neural
Awọn ofin wiwọn jẹ awọn agbekalẹ ti o ni agbara ti n fihan pe pipadanu nẹtiwọọki nkankikan ṣubu ni asọtẹlẹ bi o ṣe ndagba iwọn awoṣe, iwọn dataset, ati iṣiro.
Akopọ
They matter because they let researchers forecast performance before spending millions on training a giant model.
Jin Dive
Awọn ofin wiwọn, ti o gbajumọ nipasẹ iwe OpenAI's 2020 nipasẹ Kaplan ati awọn ẹlẹgbẹ, rii pe pipadanu idanwo dinku bi ofin agbara didan ni awọn iwọn mẹta: kika paramita (N), awọn ami ikẹkọ (D), ati iṣiro lapapọ (C). Idite lori awọn aake log-log, pipadanu dipo ifosiwewe kọọkan n ṣe laini taara ti o fẹrẹ to ọpọlọpọ awọn aṣẹ titobi. Awọn ibasepọ gba fọọmu Loss ≈ a + b·X^ (-c), nibiti X jẹ ifosiwewe igbelosoke. Ni pataki, iṣẹ atilẹba daba iwọn awoṣe ṣe pataki diẹ sii ju data lọ, nfa ere-ije kan si awọn awoṣe ti o tobi ju lailai bii awọn aye-aye 175 bilionu GPT-3. Awọn ofin wiwọn yipada ẹkọ ti o jinlẹ lati iṣẹ amoro sinu ibawi imọ-ẹrọ asọtẹlẹ, jẹ ki awọn ẹgbẹ sọ asọtẹlẹ awọn abajade ṣiṣe-nla lati kekere, awọn adanwo olowo poku.
Imọ-imọ-ẹrọ
Fọọmu ofin-agbara tumọ si ilosoke isodipupo kọọkan ti o wa titi ni iṣiro n mu idapada aropọ igbagbogbo ni aijọju ninu pipadanu. Pipadanu jẹ wiwọn ni nats tabi die-die fun ami-ami agbelebu-entropy. Nitoripe olupilẹṣẹ c jẹ kekere (nigbagbogbo ni ayika 0.05-0.1), awọn anfani jẹ gidi ṣugbọn idinku: iṣiro ilọpo meji ṣe iranlọwọ ti o kere ju awọn ilọpo meji akọkọ lọ. Ni pataki, awọn ofin wọnyi ṣapejuwe ipadanu aibikita-plus-idinku, nibiti ọrọ igbagbogbo n gba entropy ojulowo data ti ko si awoṣe ti o le lu.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ọjọ iwaju ti Awọn ofin iwọn fun Awọn Nẹtiwọọki Neural
Awọn oniwadi n fa awọn ofin igbelosoke ju ipadanu iṣaju ikẹkọ lọ si iṣotitọ iṣẹ-ṣiṣe ni isalẹ, awọn awoṣe multimodal, ati iṣiro akoko-ipinnu, nibiti awọn awoṣe ero n lo ironu diẹ sii fun ibeere. Bi ọrọ ti o ni agbara giga ṣe di ohun ti o ṣọwọn, akiyesi n yipada si didara data, data sintetiki, ati awọn ofin igbelowọn data leralera. Diẹ ninu awọn jiyan wiwọn aise n kọlu awọn opin ilowo ti owo, agbara, ati ọrọ ti o wa, titari aaye si ṣiṣe ṣiṣe algorithmic ati awọn faaji tuntun dipo kiki kiko nla nikan.
Real-World imuse
Asọtẹlẹ ipadanu ikẹhin ti awoṣe paramita 70-bilionu-biliọnu ti a gbero lati lẹsẹsẹ ti idanwo paramita kekere 100-milionu ṣaaju ṣiṣe isuna GPU.
Ṣiṣe ipinnu iye awọn aimọye ti awọn ami-ami lati gba nitoribẹẹ isuna iṣiro iṣiro ti o wa titi ko ni sofo lori awoṣe ti ko ni ikẹkọ.
Ifiwera awọn ile ayaworan meji ni olowo poku nipa ibamu awọn iha wiwọn wọn ni iwọn kekere ju ikẹkọ mejeeji ni iwọn ni kikun.
Ṣiṣeto awọn ireti išedede ojulowo fun awọn oludokoowo tabi fifun awọn oluyẹwo nipasẹ yiyo ipadanu ipadanu si ipele iṣiro ibi-afẹde.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Awọn ofin iwọn fun Awọn Nẹtiwọọki Neural ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Scaling Laws for Neural Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Convolutional nkankikan Networks
Awọn ibeere ti a beere nigbagbogbo
What is Scaling Laws for Neural Networks?
Awọn ofin wiwọn jẹ awọn agbekalẹ ti o ni agbara ti n fihan pe pipadanu nẹtiwọọki nkankikan ṣubu ni asọtẹlẹ bi o ṣe ndagba iwọn awoṣe, iwọn dataset, ati iṣiro. Wọn ṣe pataki nitori wọn jẹ ki awọn oniwadi ṣe asọtẹlẹ iṣẹ ṣiṣe ṣaaju lilo awọn miliọnu lori ikẹkọ awoṣe nla kan.
Lori awọn aake log-log, bawo ni ipadanu idanwo ṣe huwa bi iṣiro ṣe pọ si labẹ awọn ofin iwọn?
Pipadanu dipo iṣiro, iwọn awoṣe, tabi data ṣe agbekalẹ laini to taara lori awọn igbero log-log, ibuwọlu ibatan agbara-ofin.
Awọn iwọn mẹta wo ni awọn ofin igbelowọn atilẹba ṣe ibatan si pipadanu?
Kaplan et al. iwadi pipadanu bi ofin agbara ni kika paramita (N), awọn ami ikẹkọ (D), ati iṣiro lapapọ (C).
Kini idi ti awọn ofin igbelosoke ṣe pataki si awọn laabu AI?
Nipa ibamu awọn iṣuwọn ni iwọn kekere, awọn ẹgbẹ ṣe asọtẹlẹ iṣẹ awoṣe nla kan ṣaaju lilo awọn akopọ nla.
Kí ni ibakan (irreducible) igba ni a igbelosoke ofin adanu agbekalẹ duro?
Pipadanu ni apakan idinku ti o dinku pẹlu iwọn pẹlu ilẹ ti a ko le dinku ti a ṣeto nipasẹ aileto atorunwa ti data.
Kini idi ti awọn anfani irẹjẹ ṣe apejuwe bi 'dinku'?
Nitoripe olupilẹṣẹ ofin-agbara jẹ kekere, iṣiro isodipupo dogba pọ si ikore ni imurasilẹ kere awọn idinku isonu pipe.