Kini o ṣẹlẹ
Atẹjade tuntun arXiv ṣe ayẹwo bi awọn awoṣe ede ti o tobi ṣe lo lati wiwọn ọrọ-ọrọ ọmọ ile-iwe, pẹlu awọn gbigbe ọrọ, ifowosowopo ati iṣedede ohun. Awọn onkọwe jiyan pe ṣiṣe iṣiro awọn eto wọnyi nikan lodi si awọn asọye amoye agba ati awọn eto idanwo ti o waye le yọ ede yara kuro ni agbegbe rẹ ki o yọ awọn ọmọ ile-iwe ti awọn iriri wọn jẹ iwọn. Ninu iwadi ọran kan ti o kan ọdọ awọn ede pupọ ni yara ikawe math-kilasi kẹjọ, awọn oniwadi ni idapo akiyesi alabaṣe, awọn ifọrọwanilẹnuwo, awọn ẹgbẹ idojukọ ati awọn sọwedowo ọmọ ẹgbẹ pẹlu awọn ọmọ ile-iwe idojukọ mẹrin. Wọn ṣe ijabọ pe awọn itumọ awọn ọmọ ile-iwe ti ọrọ ikawe tiwọn nigbakan ko ni ibamu pẹlu awọn iwọn orisun LLM. Awọn ọmọ ile-iwe naa tun koju mejeeji awọn iyasọtọ awoṣe ati ero ifaminsi ti a lo lati ṣalaye awọn ihuwasi iwọn.
Iwe naa dojukọ awọn iwọn-orisun LLM ti ọrọ ọmọ ile-iwe. Gẹgẹbi awọn onkọwe, awọn ọna ṣiṣe wọnyi n ṣe itupalẹ awọn iwe afọwọkọ ti awọn ibaraẹnisọrọ ile-iwe lati ṣe idanimọ awọn ẹya gẹgẹbi awọn gbigbe ọrọ, ifowosowopo ati iṣedede ohun. Awọn onkọwe sọ pe awọn iwe afọwọkọ ti o wọpọ pẹlu awọn idasi ọrọ sisọ nikan, eyiti o le mu agbegbe agbegbe kuro ki o jẹ ki ede ọmọ ile-iwe le lati tumọ.
Awọn onkọwe ṣe ibeere awọn iṣe afọwọsi meji ti o wọpọ: ifiwera awọn abajade LLM pẹlu awọn asọye ti a ṣe nipasẹ awọn amoye agba, ati iṣiro iṣẹ ṣiṣe pẹlu awọn iwe data ti o waye ati awọn ikun F1. Wọn jiyan pe awọn ilana wọnyi le ṣe afihan adehun pẹlu odiwọn asọye agbalagba lai ṣe afihan pe iwọn abajade jẹ itumọ tabi dọgbadọgba fun ikọni ati kikọ. Iwe naa ṣe afihan eyi bi iṣoro apọju: awọn eniyan ti a ṣe atupale le yọkuro lati pinnu kini awọn ọrọ wọn tumọ si.
Fun iwadii ọran rẹ, ẹgbẹ iwadii ṣe ayẹwo awọn ọdọ ti o ni ede pupọ ni yara ikawe math-kilasi kẹjọ kan. Afoyemọ naa sọ pe awọn oniwadi lo ọpọlọpọ awọn ọna iṣalaye ethnographically, pẹlu awọn akiyesi alabaṣe, awọn ifọrọwanilẹnuwo, awọn ẹgbẹ idojukọ ati awọn sọwedowo ọmọ ẹgbẹ. Wọn ṣiṣẹ pẹlu awọn ọmọ ile-iwe ifọkansi mẹrin ati gbe awọn ọmọ ile-iwe wọnyẹn ni ibaraẹnisọrọ pẹlu awọn oniwadi ati LLM lakoko ilana itumọ awọn ibaraẹnisọrọ ile-iwe.
Wiwa ti o royin ni pe awọn itumọ ti awọn ọmọ ile-iwe ti awọn iriri-ọrọ-iṣiro tiwọn ko ni ibamu nigbagbogbo awọn iwọn orisun LLM. Awọn ọmọ ile-iwe ti njijadu kii ṣe awọn ipinsi kọọkan ti ipilẹṣẹ nipasẹ LLM, ṣugbọn ero ifaminsi ti a lo lati wiwọn ọrọ wọn. Orisun naa ko ṣe idanimọ awoṣe tabi awọn awoṣe ti a ti ni idanwo, pese awọn abajade iṣẹ ṣiṣe nọmba, ṣe atokọ awọn isọdi ariyanjiyan tabi ṣapejuwe bii awọn ariyanjiyan ti ṣe idajọ nikẹhin.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Atọjade naa gbe ibeere ti o wulo fun awọn ile-iwe ati awọn oniwadi ti n gba LLMs lati ṣe iṣiro ifọrọwerọ ile-iwe: boya eto kan le ṣaṣeyọri adehun ti o lagbara pẹlu awọn akọwe agba lakoko ti o ṣi aiṣedeede awọn ọmọ ile-iwe ti o tumọ lati ṣapejuwe. Ibeere agbedemeji rẹ ni pe awọn ọmọ ile-iwe yẹ ki o kopa ninu iṣelọpọ ati ijẹrisi imọ nipa ọrọ tiwọn, paapaa nigbati ede ati ẹya le ṣe apẹrẹ bi a ṣe tumọ ibaraẹnisọrọ ile-iwe. Ẹri naa ni opin si yara ikawe kan ati awọn ọmọ ile-iwe idojukọ mẹrin, ati pe iwe naa ti samisi bi labẹ atunyẹwo. Nitorinaa ko ṣe fi idi rẹ mulẹ bawo ni awọn aiṣedeede ti o royin ti tan kaakiri tabi boya afọwọsi ti o dojukọ ọdọ ṣe ilọsiwaju deede ti awoṣe kan pato. O ṣe, sibẹsibẹ, ṣe idanimọ iṣakoso nija ati ọran igbelewọn fun awọn imuṣiṣẹ AI eto-ẹkọ.
Iwadi naa ṣe pataki nitori itupalẹ ile-iwe ti o da lori LLM le ni ipa bi awọn olukọni ṣe loye ikopa ati ibaraenisepo. Iwọn kan ti o ṣe aami idasi ọmọ ile-iwe gẹgẹbi gbigbe ọrọ kan pato tabi ṣe iṣiro ohun ti o jẹ aṣoju le ṣe apẹrẹ awọn ipinnu iwadii, awọn ipinnu ikẹkọ tabi awọn idajọ nipa iṣedede yara ikawe. Ti awọn ẹka naa ba kuna lati ṣe afihan awọn iriri awọn ọmọ ile-iwe, deedee ti o han gbangba le fi aṣiṣe itumọ pataki pamọ.
Awọn ariyanjiyan awọn onkọwe tun koju asọye dín ti afọwọsi. Adehun pẹlu awọn amoye agba le jẹ iwulo, ṣugbọn o le ṣe ẹda awọn arosinu ti a ṣe sinu ilana asọye agba. Bakanna, eto igbelewọn ti o waye ati Dimegilio F1 le ṣe iwọn aitasera pẹlu awọn akole laisi fifihan pe awọn akole gba ipo awujọ ati ede ti ọrọ ikawe. Awọn preprint ko beere pe awọn metiriki wọnyi ko wulo; o jiyan wipe ti won wa ni insufficient lori ara wọn.
Idojukọ lori awọn ede pupọ ati ti ẹda-ara ati awọn ọdọ ti a yasọtọ ni ede jẹ ki ọran naa ṣe pataki ni pataki. Orisun naa sọ pe awọn oniwadi agba, awọn onimọran amoye ati awọn LLM ko le pese gbogbo nuance ti o nilo lati loye ọrọ awọn ọmọ ile-iwe. Ko ṣe fi idi rẹ mulẹ pe eto naa ṣe buru si fun eyikeyi ẹda eniyan pato, ati pe ko pese iṣiro itankalẹ. Wiwa ti o yẹ jẹ dín: ninu ọran yii, awọn ọmọ ile-iwe ṣe idanimọ awọn aiṣedeede laarin awọn itumọ ti ara wọn ati awọn iwọn eto naa.
Itọkasi pataki julọ ti iwe naa jẹ ilana. Awọn ọmọ ile-iwe le nilo ipa kan ninu asọye awọn ẹka, atunyẹwo awọn ipin ati awọn itumọ nija ṣaaju iwọn-orisun LLM ti ni itọju bi ẹri ti o nilari nipa ibaraenisepo yara ikawe. Boya ọna yẹn ṣee ṣe ni iwọn, iye akoko ti o nilo ati boya o gbejade awọn ipinnu eto-ẹkọ ti o gbẹkẹle diẹ sii ko ni idahun nipasẹ orisun.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Kini lati wo tókàn
Bọtini ibeere ti o tẹle ni boya ọna igbero awọn onkọwe le ṣe idanwo kọja awọn yara ikawe diẹ sii, awọn ẹgbẹ ọjọ-ori, awọn ede ati awọn eto ile-iwe. Iṣẹ iwaju yoo nilo lati ṣafihan nigbati awọn itumọ ọmọ ile-iwe ṣe iyatọ lati awọn abajade awoṣe, boya awọn iyatọ wọnyẹn ṣe afihan awọn aṣiṣe ninu awoṣe, awọn idiwọn ninu ero ifaminsi, tabi awọn iyatọ ti o tọ ni irisi, ati bii awọn oniwadi ṣe yẹ ki o yanju wọn. Awọn ile-iwe ati awọn olutaja ti nlo awọn iwọn-orisun LLM yẹ ki o tun ṣe alaye ohun ti a wọn, ti o ṣalaye awọn ẹka ati boya awọn ọmọ ile-iwe le dije awọn abajade. Orisun naa ko ṣe ijabọ imuṣiṣẹ ọja kan, iṣeduro fun awoṣe kan pato, ala afiwera tabi ipa iwọn lori ikọni ati kikọ. Awọn aimọ wọnyẹn ṣe opin awọn ipinnu lẹsẹkẹsẹ nipa iṣẹ ṣiṣe.
Atunṣe jẹ igbesẹ ti o tẹle julọ pataki julọ. Iwadi ọran yii jẹ pẹlu yara ikawe math-kilasi kẹjọ ati awọn ọmọ ile-iwe ifọkansi mẹrin, nitorinaa ko le ṣe afihan bii igbagbogbo awọn ariyanjiyan ti o jọra waye ni ibomiiran. Awọn oniwadi yoo nilo lati ṣayẹwo oriṣiriṣi awọn koko-ọrọ, awọn ẹgbẹ ọjọ-ori, awọn ede, awọn aṣa ile-iwe ati awọn ọna ikopa ọmọ ile-iwe ṣaaju ṣiṣe awọn ipinnu gbooro.
Awọn ẹkọ iwaju yẹ ki o jabo awọn LLM kan pato, awọn itọsi, awọn iwe afọwọkọ, awọn ẹka ifaminsi ati awọn ilana igbelewọn ti a lo. Wọn yẹ ki o tun ṣe iyatọ laarin awọn iru ariyanjiyan ti o yatọ: iṣoro transcription, aṣiṣe awoṣe, ẹya gbooro pupọ tabi ti aṣa, ati iyatọ ti o tọ laarin itumọ oluwoye ati iriri igbesi aye ọmọ ile-iwe kan. Afoyemọ lọwọlọwọ ko pese alaye to lati ṣe awọn iyatọ wọnyẹn.
O tun jẹ aimọ boya okiki awọn ọdọ ṣe iyipada iṣẹ awoṣe, ṣe imudara awọn isori, tabi ṣafihan ni pataki awọn ariyanjiyan ti ko le dinku si aami to tọ kan. Iwadi afiwera le ṣe idanwo ijẹrisi agbalagba-nikan lodi si awọn ilana ti o pẹlu awọn ifọrọwanilẹnuwo ọmọ ile-iwe, awọn ẹgbẹ idojukọ ati awọn sọwedowo ọmọ ẹgbẹ, lakoko titọpa awọn ipa lori awọn ipin ati awọn ipinnu eto-ẹkọ.
Ti samisi iwe-tẹlẹ bi labẹ atunyẹwo, ati pe orisun ko funni ni alaye nipa awọn abajade atunyẹwo ẹlẹgbẹ, gbigba igbekalẹ tabi imuṣiṣẹ ile-iwe. Nitorina awọn oluka yẹ ki o tọju awọn awari rẹ bi ariyanjiyan ati iwadii ọran ni kutukutu, kii ṣe ẹri pe gbogbo awọn iwọn LLM ti ọrọ ọmọ ile-iwe ko ni igbẹkẹle. Ibeere anfani ti gbogbo eniyan lẹsẹkẹsẹ ni boya awọn ile-iwe ati awọn olupilẹṣẹ yoo fun awọn ọmọ ile-iwe ni ọna ti o nilari lati ṣayẹwo ati dije awọn itumọ ti ipilẹṣẹ AI ti awọn iriri ile-iwe wọn.