HejuruUbuyobozi bukurikira
Tokenisation na Byte Pair Encoding
Tekiniki
Ubuyobozi bwa tekiniki
Intego ya kodegisi isimbuza icyiciro hamwe nincamake yumubare wibisubizo byagaragaye kuri kiriya cyiciro mumibare yemewe yamahugurwa.
Umva iki gitaboAI-byavuzwe · ~3 min
Irashobora gukora ibyiciro byinjiza bifite indangagaciro nyinshi zitandukanye byoroshye kwerekana icyitegererezo, ariko bisaba gutandukanya witonze ibirango byamahugurwa kugirango wirinde kumeneka.
Ibiranga ibyiciro bisobanura amatsinda nka depo, abatanga ibicuruzwa cyangwa ubwoko bwibicuruzwa. Kode imwe ishyushye ikora igipimo cyihariye kuri buri cyiciro. Hamwe nibyiciro byinshi, intego ya kodegisi itanga ikindi gihagararo: gusimbuza buri cyiciro nincamake y'ibisubizo, nko gutinda gusubira inyuma cyangwa igipimo cyiza-cyiza cyo gushyira mubyiciro bibiri. Ikimenyetso cyingirakamaro nacyo soko yingaruka. Tekereza icyiciro kigaragara rimwe. Icyiciro cyacyo kidahwitse bivuze ni uko ibisubizo byumurongo. Niba iyi gaciro ihinduka igitekerezo cyo guhanura umurongo umwe, icyitegererezo gihabwa igisubizo. Imikorere ikomeye yimyitozo muriyi mikorere irashobora kubura kumakuru mashya. Kwambukiranya bifasha kubaka amahugurwa atekanye. Gabanya amakuru yimyitozo mubice, ubare incamake yicyiciro ukoresheje ubundi bubiko, hanyuma ushireho ububiko bwafashwe hamwe nincamake. Subiramo kugeza buri murongo wamahugurwa ufite kodegisi yubatswe idafite ibirango byayo. Icyitegererezo cyo hasi cyigira kubyo byerekana. Mugihe cyo gusuzuma cyangwa guhanura, shyira amakarita wize mumahugurwa yemerewe. Korohereza kugabanya ingaruka zibyiciro hamwe no kwitegereza mukwegeranya incamake zabo kumahugurwa yisi yose. Ikigega kidasanzwe ntigomba kwakira kodegisi ikabije kubera itangwa rimwe ridasanzwe. Ingano yo koroshya ni amahitamo yicyitegererezo akeneye kwemezwa. Scikit-wige's TargetEncoder inyandiko zerekana itandukaniro ryingenzi: fit_transform ikoresha guhuza imbere, mugihe gikwiye hanyuma ugahindura amakuru amwe mumahugurwa ntabwo atanga ubwo burinzi bungana. Ntukibwire ko buri somero rishyira mubikorwa imyitwarire imwe. Gumana kodegisi mu muyoboro wo gusuzuma, usobanure uko ibyiciro bitagaragara bikemurwa, kandi uhuze ingamba zo kugabana igihe igihe cyateganijwe cyangwa ibice byasubiwemo bituma ububiko busanzwe budakwiye.
Icyitegererezo cyo gutanga cyerekana depot ukoresheje amateka yacyo yo gutinda, ubarwa uhereye kumyitozo. Ikarita imwe yize ikoreshwa noneho ikoreshwa mubisuzuma bitareba ibisubizo byabo.
Mu mategeko agenga koroshya ibintu, icyiciro gifite ibisubizo bibiri bya 10 na 20 byahujwe hamwe n’ibintu bine byabanje kwitegereza ku isi hose bivuze 6. Agaciro koroheje ni (30 hiyongereyeho 24) kagabanijwe na batandatu, cyangwa 9.
Amahugurwa arimo icyiciro kigaragara kumurongo umwe gusa. Gushiraho umurongo uhereye kubisubizo byayo byerekana label yayo, bityo itsinda ryubaka imyitozo ihagarariye mubindi bice.
Umusesenguzi akoresha scikit-yiga TargetEncoder mumuyoboro. Bagenzura inyandiko zanditse zambukiranya imipaka aho gutekereza ko bikwiye gukurikirwa no guhinduka bihwanye na fit_transform.
Ibyiciro bya kodegisi bizakomeza kuba ingirakamaro aho amakuru yimikorere arimo umubare munini wo guhindura ibiranga. Amakipe arashobora kunoza kwizerwa mugukurikirana ibyiciro bishya, ibyiciro bidasanzwe no guhinduka muburyo bwabo. Bagomba kandi kugumana amahugurwa yo guhagarika hamwe na kodegisi ya verisiyo hamwe na buri cyitegererezo cyoherejwe, bityo ubuhanuzi bushobora gukurikiranwa ku ikarita yakoreshejwe. Imiyoboro yikora irashobora gutuma igenzura risohoka ryoroha, ariko icyemezo cyingenzi cyo gushushanya gikomeza kuba umuntu: menya ibisubizo byabonetse mugihe ubuhanuzi bwaba bwarakozwe, kandi urebe ko buri kintu cyakomotse cyubahiriza imipaka.
Ibaruwa y'amakuru y'ubuntu
Inkuru eshatu zizewe za AI buri gitondo cy'iminsi y'akazi, zanditse mu rurimi rworoshye. Ubuntu iteka ryose, nta kwamamaza.
Imeri imwe buri munsi y'akazi. Kwiyimura mu buryo bumwe. Ntitwigera tugurisha cyangwa ngo dusangire aderesi yawe.
Isuzume
Ibisubizo ako kanya kuri buri kibazo, n'icyemezo gishobora gusangirwa gifite ID yagenzurwa umaze gutsinda isomo.
Fasha uburezi bwa AI bw'ubuntu. AI Understanding ni umuryango utegamiye kuri leta wa 501(c)(3) — nta kwamamaza, nta kwishyura, iteka ryose. Tanga impano
Intego ya kodegisi isimbuza icyiciro hamwe nincamake yumubare wibisubizo byagaragaye kuri kiriya cyiciro mumibare yemewe yamahugurwa. Irashobora gukora ibyiciro byinjiza bifite indangagaciro nyinshi zitandukanye byoroshye kwerekana icyitegererezo, ariko bisaba gutandukanya witonze ibirango byamahugurwa kugirango wirinde kumeneka.
Hamwe no kwitegereza gusa, icyiciro bivuze kunganya intego yacyo, kumena igisubizo mubyinjijwe.
Ubundi bubiko butanga ibyiciro byimibare kugirango ibirango byafashwe-ntibisobanure neza.
Umubare ni 30 wongeyeho inshuro enye esheshatu, cyangwa 54. Icyiciro ni bibiri wongeyeho bine, cyangwa bitandatu. Ibisubizo ni icyenda.
Ingero ntoya zirashobora gutanga urugero rudahungabana, kandi koroshya imbaraga zabo ukoresheje amakuru aturuka mubaturage benshi.
Imyitwarire yimyandikire yimyitwarire ikubiyemo guhuza; bikwiye bikurikirwa no guhinduka kumurongo umwe ntabwo bihwanye.
Komeza wige
Abandi bayobozi batoranijwe kuriyi ngingo
HejuruUbuyobozi bukurikira
Tokenisation na Byte Pair Encoding
Tekiniki