Up tókànItọsọna atẹle
Imudara Fine-Tuning pẹlu Graders
Imọ-ẹrọ
Imọ Itọsọna
Ṣiṣatunṣe Hyperparameter
Hyperparameters jẹ awọn eto ti o yan ṣaaju ikẹkọ, bii oṣuwọn ikẹkọ tabi iwọn awoṣe, pe awoṣe ko kọ ẹkọ funrararẹ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Ṣiṣatunṣe wọn daradara nigbagbogbo jẹ iyatọ laarin awoṣe mediocre ati ọkan nla kan.
Jin Dive
Awọn paramita awoṣe (awọn iwuwo) ni a kọ ẹkọ lati inu data lakoko ikẹkọ. Hyperparameters yatọ: wọn jẹ awọn bọtini ti o ṣeto tẹlẹ ti o ṣe akoso bi ẹkọ ṣe n ṣẹlẹ, gẹgẹbi iwọn ẹkọ, iwọn ipele, nọmba awọn fẹlẹfẹlẹ, agbara igbagbogbo, ati bii o ṣe pẹ to lati ṣe ikẹkọ. Wọn ko le ṣe iṣapeye nipasẹ isọkalẹ gradient taara, nitorinaa o wa awọn iye to dara nipa ikẹkọ ọpọlọpọ awọn awoṣe oludije ati ifiwera wọn lori eto afọwọsi. Ọna ti o rọrun julọ ni wiwa akoj, ngbiyanju gbogbo akojọpọ lori akoj ti a ti sọ tẹlẹ, ṣugbọn o ni iwọn pupọ. Wiwa laileto nigbagbogbo n wa awọn eto to dara ni iyara nipasẹ iṣapẹẹrẹ awọn akojọpọ. Imudara Bayesian ti ilọsiwaju diẹ sii kọ awoṣe iṣeeṣe ti eyiti awọn eto wo ni ileri ati idojukọ wiwa nibẹ. Oṣuwọn ẹkọ nigbagbogbo jẹ hyperparameter ti o ni ipa julọ lati ni ẹtọ.
Real-World imuse
Gbigba awọn oṣuwọn ikẹkọ kọja ọpọlọpọ awọn aṣẹ ti titobi lati wa iye nibiti nẹtiwọọki n ṣe ọkọ oju irin ni iyara laisi iyatọ.
Lilo wiwa laileto lati tune ijinle igi, nọmba awọn igi, ati oṣuwọn kikọ ẹkọ fun awoṣe imudara gradient lori data tabular.
Nṣiṣẹ Bayesian iṣapeye si apapọ agbara isọdọtun ati iwọn ipele fun nẹtiwọọki ti o jinlẹ lori isuna GPU ti o lopin.
Nbere Hyperband lati kọ awọn dosinni ti awọn atunto ni ṣoki, lẹhinna fifun awọn akoko diẹ sii nikan si awọn iyokù ti o ni ileri julọ.
Ojo iwaju ti Hyperparameter Tuning
Afọwọṣe ati yiyi ti o da lori grid n funni ni ọna lati kọ ẹkọ ẹrọ adaṣe (AutoML) ati wiwa ijafafa bii iṣapeye Bayesian ati Hyperband, eyiti o lo iṣiro pupọ diẹ sii daradara. Bi awọn awoṣe ipile ṣe ndagba, atunkọ ni kikun fun idanwo kan di gbowolori idinamọ, nitorinaa akiyesi n yipada si awọn aṣoju din owo, awọn ofin iwọn ti o sọ asọtẹlẹ awọn eto to dara lati awọn ṣiṣe kekere, ati yiyi awọn oluyipada iwuwo fẹẹrẹ dipo awọn awoṣe gbogbo. Reti yiyi lati di adaṣe ti o pọ si ati imọ-isuna, pẹlu awọn irinṣẹ ti o ṣowo idiyele wiwa ni gbangba lodi si awọn anfani ireti.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Ya Hyperparameter Tuning adanwo
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Tuning Hyperparameter?
Hyperparameters jẹ awọn eto ti o yan ṣaaju ikẹkọ, bii oṣuwọn ikẹkọ tabi iwọn awoṣe, pe awoṣe ko kọ ẹkọ funrararẹ. Ṣiṣatunṣe wọn daradara nigbagbogbo jẹ iyatọ laarin awoṣe mediocre ati ọkan nla kan.
Kini iyatọ hyperparameter lati paramita awoṣe deede?
Awọn iwuwo (awọn paramita) ni a kọ lati inu data lakoko ikẹkọ. Hyperparameters, bii oṣuwọn ikẹkọ tabi nọmba awọn fẹlẹfẹlẹ, ni a yan tẹlẹ ati ṣakoso bi ikẹkọ ṣe n lọ.
Ewo ni igbagbogbo ni a gba pe hyperparameter ti o ni ipa julọ lati tune ni ẹkọ ti o jinlẹ?
Oṣuwọn ẹkọ yoo ni ipa lori boya ati bi awoṣe ṣe yara to. Ju ga ati ikẹkọ diverges; ju kekere ati awọn ti o jijoko tabi olubwon di.
Kini idi ti wiwa laileto nigbagbogbo n ṣe awari wiwa akoj fun iṣatunṣe hyperparameter?
Wiwa grid ba awọn idanwo nu lori awọn iwọn ti ko ṣe pataki. Wiwa laileto ṣawari aaye daradara siwaju sii ati nigbagbogbo de awọn atunto to dara pẹlu awọn idanwo diẹ.
Bawo ni iṣapeye Bayesian ṣe yan iru iṣeto hyperparameter wo lati gbiyanju atẹle?
Iṣapejuwe Bayesian ṣe apẹẹrẹ ibatan laarin awọn atunto ati awọn ikun afọwọsi, lẹhinna yan idanwo atẹle lati dọgbadọgba iṣawakiri ti awọn agbegbe ti ko ni idaniloju pẹlu ilokulo ti awọn ti o ni ileri.
Kini idi ti eto idanwo ikẹhin gbọdọ jẹ aibikita lakoko iṣatunṣe hyperparameter?
Tuning yan awọn eto ti o dara julọ lori eyikeyi data ti o ṣe iṣiro. Ti o ba jẹ eto idanwo naa, iṣẹ ṣiṣe ti o royin jẹ inflated. Tuning nlo eto afọwọsi lọtọ dipo.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii