Kini o ṣẹlẹ
Gẹgẹbi Ai2, awọn oniwadi Thai lo ohun elo irinṣẹ Dolma ṣiṣi rẹ lati kọ Mangosteen, corpus tokini 47-bilionu kan fun iṣaju awọn awoṣe ede Thai. Ẹgbẹ naa tun ṣe awọn apakan ti Dolma lati ṣe akọọlẹ fun ọrọ Thai, awọn iṣoro didara data, ati awọn orisun pataki ti agbegbe ti awọn data data ti o wuwo wẹẹbu ti o padanu nigbagbogbo.
Ai2 ṣapejuwe Mangosteen bi koposi Thai ti o ṣẹda nipasẹ ẹgbẹ kan ti awọn oniwadi Thai ti o lo Dolma bi aaye ibẹrẹ wọn. Awọn koposi ni 47 bilionu àmi. Ẹgbẹ naa bẹrẹ pẹlu awọn ikojọpọ data wẹẹbu nla ati wa lati koju awọn ailagbara ti wọn rii ni awọn iwe data Thai ti o wa ni gbangba, pẹlu iṣayẹwo lopin nipasẹ awọn agbọrọsọ Thai, ohun elo ti ko yẹ, ati agbegbe ti ko to ti awọn iwe, awọn iwe iwadii, awọn oju opo wẹẹbu osise, ati awọn atunkọ YouTube. Wannaphong Phatthiyaphaibun, ti a ṣe idanimọ nipasẹ Ai2 gẹgẹbi oludari iṣẹ akanṣe ati ọmọ ile-iwe PhD kan ni Vidyasirimedhi Institute of Science and Technology, sọ pe ẹgbẹ naa ko ni awọn olupilẹṣẹ to lati kọ opo gigun ti data-pipe lati ibere.
Awọn oniwadi rii pe diẹ ninu awọn paati Dolma ko le gbe taara si Thai. Ni pataki, wọn jabo pe gbolohun ọrọ- ati iyọkuro ipele ipele-ipinnu yọkuro gbogbo awọn data wọn nitori Thai ko samisi awọn aala gbolohun ni ọna kanna bi Gẹẹsi. Wọn ṣe idaduro iwe-ati idinku ipele URL, titunṣe awọn ipele sisẹ miiran, awọn asẹ didara ti a ṣatunṣe, rọpo awọn irinṣẹ pato ede, ati awọn ofin afikun fun awọn ilana ni data wẹẹbu Thai. Apeere kan kan pẹlu awọn oju-iwe iroyin Thai ti o ni awọn snippets gedu ti o tẹle pẹlu awọn “Ka siwaju”; ẹgbẹ naa ṣafikun sisẹ ti a pinnu lati yọkuro awọn nkan ti ko pe.
Ninu awọn adanwo ti a ṣalaye nipasẹ Ai2, opo gigun ti epo ti o ṣatunṣe yọkuro diẹ sii ju 80% ti data Crawl Wọpọ ti a lo bi aaye ibẹrẹ ati pe o fẹrẹ to idaji ti FineWeb2, ikojọpọ orisun n ṣapejuwe bi a ti sọ di mimọ ati ti a ti sọ di mimọ fun ikẹkọ awoṣe. Ẹgbẹ naa royin pe awọn awoṣe ikẹkọ lori kere, awọn ipilẹ data ti a ti yo ti ṣetọju tabi ilọsiwaju iṣẹ ni akawe pẹlu awọn awoṣe ti a kọkọ lori awọn ipilẹ data nla. Ai2 tun sọ pe awọn ilọsiwaju wọnyẹn ti gbe sinu awọn awoṣe nla ati pe awọn awoṣe ikẹkọ Mangosteen ṣe dara julọ lori awọn igbelewọn imọ-imọ aṣa Thai. Orisun naa ko fun awọn orukọ igbelewọn, awọn iṣiro nọmba, awọn atunto awoṣe, tabi awọn iṣakoso idanwo ti o nilo lati ṣe ayẹwo iwọn ati agbara ti awọn anfani wọnyẹn.
Awọn alaye orisun: allenai.org ↗
Kini idi ti o ṣe pataki
Iṣẹ naa ṣe afihan bii didara awoṣe-ede ṣe le dale lori ẹniti o ṣe atunwo data ikẹkọ ati boya awọn irinṣẹ le ṣe deede si eto kan pato ti ede kan. Ẹgbẹ naa ṣe ijabọ pe o kere, awọn akopọ data ti o farabalẹ ni ibaamu tabi kọja awọn abajade lati awọn ikojọpọ nla ati ilọsiwaju iṣẹ lori awọn igbelewọn-imọ aṣa Thai.
Pataki pataki jẹ ọna-ọna: iṣẹ akanṣe n ṣe itọju ikẹkọ-data curation bi nkan ti o yẹ ki o ṣe deede nipasẹ awọn eniyan ti o loye ede ati agbegbe alaye rẹ. Opopona opo gigun ti gbogboogbo le ṣe itọju akoonu ti o wulo, ṣugbọn awọn arosọ rẹ nipa awọn aala gbolohun ọrọ, ẹda-iwe, didara, tabi igbekalẹ oju-iwe wẹẹbu le huwa ọtọtọ kọja awọn ede. Iriri ẹgbẹ Thai ni imọran pe opo gigun ti epo ti a ṣe ni ayika awọn apejọ ede Gẹẹsi le ṣabọ ohun elo ti o niyelori tabi idaduro ohun elo ti ko dara nigbati a lo ni ibomiiran.
Awọn abajade ti a royin tun koju imọran ti o rọrun pe awọn ami ikẹkọ diẹ sii laifọwọyi ṣe agbejade awọn awoṣe ede ti o dara julọ. Ai2 sọ pe ẹgbẹ naa yọkuro pupọ julọ ti gbigba wẹẹbu kan ati pe o fẹrẹ to idaji miiran lakoko mimu tabi ilọsiwaju iṣẹ awoṣe. Ti o ba tun ṣe ni ominira, iyẹn yoo tọka pe sisẹ ìfọkànsí ati yiyan orisun le nigba miiran jiṣẹ iye diẹ sii ju fifi ọrọ aise kun. Idinku awọn ohun elo ti ko ṣe pataki tabi ti ko pe le tun jẹ ki data ikẹkọ rọrun lati ṣayẹwo, botilẹjẹpe orisun ko ṣe ijabọ awọn ayipada ni akoko ikẹkọ, lilo agbara, tabi idiyele lapapọ.
Ilọsiwaju ti a royin lori awọn igbelewọn imọ-imọ aṣa Thai jẹ pataki pataki si aṣoju. Awoṣe le ṣe daradara lori awọn iṣẹ-ṣiṣe ede gbogbogbo lakoko ti o padanu awọn itọkasi agbegbe, awọn ile-iṣẹ, itan-akọọlẹ, tabi agbegbe aṣa. Ẹgbẹ naa tumọ abajade rẹ bi ẹri pe data ti o ni ibatan agbegbe le ṣe iranlọwọ fun awọn awoṣe ṣe aṣoju awọn agbegbe ti wọn ṣiṣẹ. Ipari yẹn jẹ ẹtọ lati awọn adanwo ti iṣẹ akanṣe, kii ṣe wiwa ti idasilẹ ni ominira ni orisun yii. Nkan naa ko funni ni alaye nipa awọn ipilẹ, awọn agbegbe aṣa ti idanwo, tabi boya awọn anfani wa lati oniruuru orisun, sisẹ, iwọn data, tabi awọn iyipada miiran.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Orisun naa ko pese awọn orukọ ala, awọn ikun deede, awọn iwọn awoṣe, awọn idiyele iṣiro, awọn alaye iwe-aṣẹ corpus, tabi ẹda ominira. Itumọ ti o wulo yoo dale lori boya Mangosteen ati opo gigun ti a yipada ni a ti tu silẹ, boya awọn oniwadi Thai miiran le ṣe ẹda awọn awari, ati boya awọn ọna ti o jọra ṣe ilọsiwaju awọn awoṣe ni awọn ede ti a ko fi han.
Ibeere ti o wulo akọkọ ni boya awọn ohun-elo iwadi wa. Orisun naa n tẹnuba ṣiṣi ti Dolma ati ṣe apejuwe Mangosteen gẹgẹbi atunṣe atunṣe, ṣugbọn ko sọ boya 47-bilionu-token corpus, awọn ofin sisẹ, awọn irinṣẹ rirọpo, tabi koodu idiyele ti wa ni idasilẹ ni gbangba. Awọn iwe-aṣẹ ati awọn akiyesi asiri le ni ipa lori ohun ti a le pin, paapaa nitori orisun sọ pe iṣẹ akanṣe lori awọn oju-iwe wẹẹbu, awọn iwe, awọn iwe iwadi, awọn oju opo wẹẹbu osise, ati awọn atunkọ YouTube.
Igbelewọn ominira yoo jẹ pataki. Orisun naa ṣe ijabọ awọn afiwera pẹlu Crawl Wọpọ ati FineWeb2, ṣugbọn ko ṣe idanimọ awọn iṣiro paramita awọn awoṣe, awọn ilana ikẹkọ, awọn akojọpọ data, awọn ikun ala, tabi aidaniloju iṣiro. Iṣẹ atẹle yẹ ki o ṣe idanwo boya awọn anfani n tẹsiwaju kọja iran ede, ironu, otitọ, ailewu, ati awọn iṣẹ ṣiṣe atẹle, dipo awọn igbelewọn-imọ-imọ nikan ti Ai2 mẹnuba. O yẹ ki o tun ṣe ayẹwo boya sisẹ kuro ni ede-ede to tọ, agbegbe, tabi ohun elo agbegbe-kere.
Idanwo ti o gbooro ni boya ọna yii n gbe lọ si awọn ede miiran ati awọn ẹgbẹ iwadii pẹlu awọn orisun imọ-ẹrọ to lopin. Iwọn Dolma, bi a ti gbekalẹ nibi, ni pe awọn oniwadi le ṣe atunṣe opo gigun ti o wa dipo ti atunṣe ọkan. Ṣugbọn orisun naa ko fi idi rẹ mulẹ pe awọn iyipada kanna yoo ṣiṣẹ fun awọn ede pẹlu awọn ọna ṣiṣe kikọ oriṣiriṣi, awọn ilolupo wẹẹbu, tabi wiwa data. Awọn imudojuiwọn ọjọ iwaju yẹ ki o ṣe alaye atunṣe, iṣakoso koposi, agbegbe orisun, ihuwasi awoṣe, ati awọn iṣowo laarin ibaramu agbegbe, didara data, ṣiṣi, ati lilo lodidi.