Up tókànItọsọna atẹle
Representation and Sampling Bias in Datasets
Imọ-ẹrọ
Imọ Itọsọna
Iṣapẹẹrẹ Iṣeto ati Iyatọ Ifihan
Iyasọtọ ifihan jẹ aafo ti o han nigbati awoṣe ti o ni ikẹkọ nikan lori awọn asọtẹlẹ pipe gbọdọ, ni itọkasi, ipo lori awọn abajade aipe tirẹ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Iṣapẹẹrẹ eto jẹ iwe-ẹkọ ti o tilekun aafo yẹn diẹdiẹ.
Jin Dive
Awọn awoṣe ti o ni ikẹkọ pẹlu ifipabanilopo olukọ nikan rii awọn ami-ilẹ-otitọ bi ọrọ-ọrọ, ṣugbọn ni akoko iran wọn ṣe ifunni awọn asọtẹlẹ tiwọn. Nigbati aṣiṣe ni kutukutu ba de awoṣe ni ipo ti ko pade rara lakoko ikẹkọ, awọn aṣiṣe le bọọlu yinyin, ipo ikuna ti a pe ni irẹjẹ ifihan. Iṣapẹẹrẹ ti a ṣe eto, ti Bengio ati awọn alabaṣiṣẹpọ ṣe ṣafihan ni ọdun 2015, koju eyi nipa yiyipada owo kan ni igbesẹ iyipada kọọkan lakoko ikẹkọ: pẹlu iṣeeṣe diẹ ti o jẹ ifunni otitọ (fifi agbara olukọ) ati bibẹẹkọ o jẹ ifunni asọtẹlẹ ti ara ẹni ti awoṣe. Awọn iṣeeṣe ti lilo otitọ ilẹ bẹrẹ nitosi ọkan ati ibajẹ lori ikẹkọ nipasẹ iṣeto kan (linear, exponential, or inverse-sigmoid), nitorinaa awoṣe ti farahan ni ilọsiwaju si awọn abajade tirẹ ati kọ ẹkọ lati gba pada lati awọn aṣiṣe rẹ.
Real-World imuse
Ikẹkọ awoṣe ifori aworan pẹlu iṣapẹẹrẹ eto ki o kọ ẹkọ lati tẹsiwaju pẹlu oore-ọfẹ lẹhin ọrọ asọtẹlẹ aipe
Iṣeṣeṣeṣe fipa oluko jẹ ibajẹ pẹlu iṣeto sigmoid onidakeji ni eto itumọ ẹrọ iṣan.
Ṣiṣayẹwo wiwa iwiregbe kan ti o lọ sinu awọn yipo ti ko ni ibamu bi ami ifihan-ijusi lati ipa olukọ mimọ
Ifiwera awọn ikun BLEU ti akopọ ti oṣiṣẹ pẹlu oluko ni kikun ti o fi ipa mu ọkan ti oṣiṣẹ pẹlu iṣapẹẹrẹ iṣeto.
Ojo iwaju ti Iṣapẹẹrẹ Iṣeto ati Ibaṣepọ Ifihan
Fun awọn awoṣe ede Amunawa nla ni ariyanjiyan ipa ilowo ti aibikita ifihan, niwọn igba ti data nla ati iwọn rẹ balẹ, ati awọn ọna bii RLHF ṣe atunṣe ihuwasi iran taara. Sibẹsibẹ, iṣapẹẹrẹ iṣeto ati awọn ọmọ-ọmọ rẹ jẹ ibaramu fun awọn awoṣe kekere, iran ti a ṣeto, ati awọn iṣẹ ṣiṣe pẹlu awọn iwulo deede to muna. Iṣẹ iwaju ṣe idapọmọra ifihan iwe-ẹkọ, awọn ibi-afẹde ọna-ara imuduro, ati ikẹkọ eewu ti o kere ju lati ṣe deede bi awọn awoṣe ṣe jẹ ikẹkọ pẹlu bii wọn ṣe pinnu nitootọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Scheduled Sampling and Exposure Bias quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Iṣayẹwo Iṣeto ati Iyatọ Ifihan?
Iyasọtọ ifihan jẹ aafo ti o han nigbati awoṣe ti o ni ikẹkọ nikan lori awọn asọtẹlẹ pipe gbọdọ, ni itọkasi, ipo lori awọn abajade aipe tirẹ. Iṣapẹẹrẹ eto jẹ iwe-ẹkọ ti o tilekun aafo yẹn diẹdiẹ.
Kini iṣapẹẹrẹ iṣeto ṣe lakoko ikẹkọ?
Iṣapẹẹrẹ ti a ṣe eto stochastically dapọ otitọ-ilẹ ati awọn ami afọwọṣe ti ipilẹṣẹ bi awọn igbewọle decoder, iṣakoso nipasẹ iṣeeṣe ibajẹ.
Bawo ni iṣeeṣe ti lilo aami-otitọ ilẹ ṣe yipada lori ikẹkọ ni iṣapẹẹrẹ iṣeto?
Iṣeto naa bẹrẹ nitosi ifipabanilopo olukọ ni kikun ati ibajẹ nitoribẹẹ awoṣe naa ti farahan si awọn asọtẹlẹ tirẹ bi o ti n mu ilọsiwaju.
Tani ṣe agbekalẹ iṣapẹẹrẹ iṣeto, ati ni aijọju nigbawo?
Iṣapẹẹrẹ iṣeto ni a dabaa nipasẹ Samy Bengio ati awọn ẹlẹgbẹ ni ọdun 2015 fun asọtẹlẹ lẹsẹsẹ pẹlu awọn nẹtiwọọki loorekoore.
Apẹrẹ iṣeto wo ni a tọka si fun ibajẹ iṣeeṣe ti ipa olukọ?
Iṣẹ atilẹba ti dabaa laini, iwọn, ati awọn iṣeto ibajẹ-sigmoid onidakeji fun idinku iṣeeṣe iṣapẹẹrẹ ilẹ-otitọ.
At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
Scheduled sampling sometimes feeds the model’s own sampled prediction instead of the gold previous token.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii