Ubuyobozi bwa tekiniki

Gahunda yo Gutoranya no Kugaragaza Kubogama

Kubogama kubogamye ni icyuho kigaragara mugihe icyitegererezo cyatojwe gusa prefixes nziza kigomba, kubitekerezo, imiterere kubisubizo byayo bidatunganye.

Incamake

Kubogama kubogamye ni icyuho kigaragara mugihe icyitegererezo cyatojwe gusa prefixes nziza kigomba, kubitekerezo, imiterere kubisubizo byayo bidatunganye. Gahunda yo gutoranya ni integanyanyigisho igenda ifunga buhoro buhoro icyo cyuho.

Gahunda yo Gutoranya no Kumenyekanisha Bias ni inyubako ya tekiniki yubaka igira ingaruka kumiterere yicyitegererezo, igiciro cyibikorwa remezo, ubukererwe, no kwizerwa mubipimo.

Kwibira cyane

Abanyamideli bahuguwe hamwe nabarimu bahatira gusa kubona ibimenyetso-byukuri ibimenyetso bifatika, ariko mugihe cyibisekuruza basubiza ibyo bahanuye. Iyo ikosa ryambere ryerekanye icyitegererezo muri leta itigeze ihura nacyo mugihe cyamahugurwa, amakosa arashobora gukina urubura, uburyo bwo gutsindwa bwitwa bias bias. Icyitegererezo cyateganijwe, cyatangijwe na Bengio na bagenzi be muri 2015, gikemura iki kibazo cyo guhanagura igiceri kuri buri ntambwe ya decoding mugihe cy'amahugurwa: hamwe nibishoboka byose bigaburira ikimenyetso nyacyo (guhatira abarimu) naho ubundi kigaburira icyitegererezo icyitegererezo. Amahirwe yo gukoresha ukuri kwibanze atangirira hafi imwe kandi akangirika kumahugurwa akoresheje ingengabihe (umurongo, yerekanwe, cyangwa invers-sigmoid), bityo moderi igenda ihura nibisubizo byayo kandi ikiga gukira amakosa yayo.

Ubushishozi

Kuri intambwe t icyitegererezo cyerekana Bernoulli ihinduka hamwe na epsilon_i yo guhitamo ikimenyetso cya zahabu; epsilon_i ibora uko imyitozo ikomeza. Ubwitonzi ni uko kugaburira ibimenyetso byatoranijwe bituma intego ibogama hamwe na discret sampling idatandukanijwe, bityo gradients ntizitemba neza binyuze mukimenyetso cyagabanijwe. Impinduka zikoresha neza-zinyuze muri Gumbel-softmax cyangwa kuruhuka gutandukanye kugirango ugabanye ibi, kandi uburyo-urwego rukurikirana bihindura ibipimo nka BLEU muburyo butaziguye.

Kumenya Gahunda Yiteganijwe no Kugaragaza Kubogama

Kubogama kubogamye ni icyuho kigaragara mugihe icyitegererezo cyatojwe gusa prefixes nziza kigomba, kubitekerezo, imiterere kubisubizo byayo bidatunganye. Gahunda yo gutoranya ni integanyanyigisho igenda ifunga buhoro buhoro icyo cyuho. Gahunda yo Gutoranya no Kumenyekanisha Bias ni inyubako ya tekiniki yubaka igira ingaruka kumiterere yicyitegererezo, igiciro cyibikorwa remezo, ubukererwe, no kwizerwa mubipimo. Kugirango wubake byimbitse, fata Gahunda Yiteganijwe no Kugaragaza Bias nkicyitegererezo gikora, ntabwo ari ikintu kimwe: gusobanura ibyagezweho, gusobanura ibitekerezo, no gutandukanya ibyo sisitemu ishobora gukora byizewe nibisaba guca imanza zinzobere.

Mubimenyerezo, amatsinda akomeye akoresha Gahunda yo Gutoranya no Kugaragaza Bias itezimbere ubwubatsi, amakuru, hamwe nibikorwa remezo birwanya kwizerwa nigiciro. Bandika ibipimo ngenderwaho byerekana intsinzi, bagerageza kurwanya amakuru afatika hamwe nakazi keza, kandi bagasubiramo bashingiye kubikorwa byagaragaye ko batsinzwe aho gutsinda inshuro imwe. Aha niho imyumvire yubumenyi ihinduka mubushobozi burambye kubicuruzwa, politiki, nibikorwa.

Ibyemezo byubwubatsi bitwara imikorere nigiciro cyimikorere kumyaka. Mugihe kimwe, Guhindura igipimo kimwe gishobora guhisha intege nke za sisitemu. Uburyo bukomeye cyane ni uguhuza umuvuduko wikigereranyo hamwe na disipuline yimiyoborere: kuyobora abaderevu, gufata ibimenyetso, gutangaza ibyemezo byicyemezo, no gukomeza kuvugurura uburyo bwo kwirinda nkimyitwarire yicyitegererezo, ibyo abakoresha bategereje, nibisabwa n'amategeko bigenda bihinduka.

Ingaruka z'Ingamba

Ibyemezo byubwubatsi bitwara imikorere nigiciro cyimikorere kumyaka.

Ibyemezo byubwubatsi bitwara imikorere nigiciro cyimikorere kumyaka. Mubikorwa byujuje ubuziranenge, ibi bihindurwa mumategeko agenga imikorere, imipaka nyirubwite, hamwe n'imihango yo gusubiramo kenshi kugirango amakipe ashobore kwigirira ikizere aho gupima ibidasobanutse.

Ubuhanga bwa tekinike bufasha amakipe guhitamo umurongo ukwiye, ntabwo ari shyashya gusa.

Ubuhanga bwa tekinike bufasha amakipe guhitamo umurongo ukwiye, ntabwo ari shyashya gusa. Mubikorwa byujuje ubuziranenge, ibi bihindurwa mumategeko agenga imikorere, imipaka nyirubwite, hamwe n'imihango yo gusubiramo kenshi kugirango amakipe ashobore kwigirira ikizere aho gupima ibidasobanutse.

Guhitamo neza bya injeniyeri bigabanya ibintu byizewe mubikorwa.

Guhitamo neza bya injeniyeri bigabanya ibintu byizewe mubikorwa. Mubikorwa byujuje ubuziranenge, ibi bihindurwa mumategeko agenga imikorere, imipaka nyirubwite, hamwe n'imihango yo gusubiramo kenshi kugirango amakipe ashobore kwigirira ikizere aho gupima ibidasobanutse.

Ejo hazaza hateganijwe gutoranya no kubogama

Kururimi runini rwa Transformer yerekana ingaruka zifatika zo kubogama kubogama, kuva amakuru manini nubunini bigabanya, hamwe nuburyo nka RLHF ivugurura imyitwarire yibisekuruza bitaziguye. Nubwo bimeze bityo, icyitegererezo cyateganijwe hamwe nababakomokaho gikomeza kuba ingirakamaro kuri moderi ntoya, ibisekuruza byubatswe, hamwe nibikorwa bikenewe neza. Akazi kazoza gahuza integanyanyigisho, intego-yo gushimangira-intego zikurikirana, hamwe namahugurwa-yingaruka-nto kugirango ahuze uburyo moderi yatojwe nuburyo yangirika.

Gushyira mu bikorwa Isi

Guhugura ishusho-yerekana icyitegererezo hamwe nicyitegererezo cyateganijwe kugirango yige gukomeza neza nyuma yijambo ryahanuwe ridatunganye

Kwangiriza umwarimu-guhatira amahirwe hamwe na gahunda ihindagurika-sigmoid muri sisitemu yo guhindura imashini

Gupima ikiganiro kigenda kijya mumuzingo udahuye nkikimenyetso-kibogamye kimenyetso cya mwarimu mwiza uhatira

Ugereranije amanota ya BLEU yincamake yatojwe hamwe numwarimu wuzuye uhatira hamwe nuwahuguwe hamwe nicyitegererezo

Uburyo bwo Gushyira mu bikorwa

Gahunda yo Gutoranya no Kugaragaza Kubogama mubikorwa

Guhugura ishusho-yerekana icyitegererezo hamwe nicyitegererezo cyateganijwe kugirango yige gukomeza neza nyuma yijambo ryahanuwe ridatunganye.

Guhugura ishusho yerekana amashusho hamwe nicyitegererezo cyateganijwe kugirango yige gukomeza neza nyuma yijambo ryahanuwe ridatunganijwe Amakipe ubusanzwe abona ibisubizo byiza iyo asobanuye ibipimo ngenderwaho byimbere, agakomeza inzira yo kuzamuka kwabantu kubibazo, kandi akurikirana inyungu zibyara umusaruro hamwe nibiciro byamakosa mugihe runaka.

Gahunda yo Gutoranya no Kugaragaza Kubogama mubikorwa

Kwangiriza umwarimu-guhatira amahirwe hamwe na gahunda ihindagurika-sigmoid muri sisitemu yo guhindura imashini.

Kwangirika kwa mwarimu guhatira hamwe na gahunda ihindagurika-sigmoid muri sisitemu yo guhindura imashini ya mashini ya Neural Amakipe akunze kubona ibisubizo byiza iyo asobanuye ibipimo byujuje ubuziranenge imbere, agakomeza inzira yo kuzamura abantu kubibazo, kandi akurikirana inyungu zibyara umusaruro hamwe nibiciro byamakosa mugihe runaka.

Gahunda yo Gutoranya no Kugaragaza Kubogama mubikorwa

Gupima ikiganiro kigenda kijya mumuzingo udahuye nkikimenyetso-kibogamye kimenyetso kiva mwarimu mwiza uhatira.

Gupima ikiganiro kigenda kijya mumuzingo udahuye nkikimenyetso cyo kubogama kubogamye mwarimu wera uhatira Amakipe mubusanzwe abona ibisubizo byiza mugihe basobanuye ibipimo ngenderwaho byimbere, bagakomeza inzira yo kuzamuka kwabantu kubibazo byimbitse, kandi bagakurikirana inyungu zibyara umusaruro nibiciro byamakosa mugihe runaka.

Gahunda yo Gutoranya no Kugaragaza Kubogama mubikorwa

Ugereranije amanota ya BLEU yincamake yatojwe hamwe numwarimu wuzuye uhatira hamwe nuwahuguwe hamwe nicyitegererezo.

Ugereranije amanota ya BLEU yincamake yatojwe hamwe numwarimu wuzuye uhatira hamwe nuwahuguwe hamwe nicyitegererezo cyateganijwe Amakipe ubusanzwe abona ibisubizo byiza iyo asobanuye ibipimo ngenderwaho byimbere, agakomeza inzira yo kuzamura abantu kubibazo, kandi akurikirana inyungu zibyara umusaruro nibiciro byigihe.

Ingaruka & Kurinda

!

Gutezimbere igipimo kimwe gishobora guhisha intege nke za sisitemu.

!

Ibikorwa Remezo no kubungabunga akenshi usanga bidahabwa agaciro.

!

Icyuho cyumutekano no kwitegereza birashobora kwiyongera uko sisitemu igenda igorana.

Igishushanyo mbonera

1

Sobanura ubukererwe, ubuziranenge, nigiciro cyibiciro mbere yo kubishyira mubikorwa.

Sobanura ubukererwe, ubuziranenge, nigiciro cyibiciro mbere yo kubishyira mubikorwa. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

2

Ibipimo byerekana umutwaro ufatika hamwe namakuru yimiterere.

Ibipimo byerekana umutwaro ufatika hamwe namakuru yimiterere. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

3

Gukurikirana ibikoresho kubikosa, drift, ningaruka zabakoresha.

Gukurikirana ibikoresho kubikosa, drift, ningaruka zabakoresha. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

4

Tegura inzira yo gusubiza ibyabaye mbere yo gupima.

Tegura inzira yo gusubiza ibyabaye mbere yo gupima. Fata buri ntambwe nk irembo ryibimenyetso: niba ibipimo bitujujwe, hagarika kuzenguruka, funga icyuho, hanyuma noneho wagure imikoreshereze.

Komeza Ubushakashatsi