Takarda tana ba da shawarar koyon ƙarfafa matakin biyu don wakilan tattaunawa

Me ya faru

Wata takarda da aka ƙaddamar zuwa arXiv a kan Agusta 22 yana ba da shawara ToSCA, tsarin ƙarfafawa-mataki biyu don wakilan tattaunawa. Yana tsara tsararrun amsawar alama-by-token akan dabarar matakin furuci, haɗe babban tsari tare da samar da ƙaramin matakin harshe.

Tushen shine rikodin arXiv don "ToSCA: Ƙarfafa Koyon Ƙarfafa Ƙarfafa Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararrun Mawallafa takwas. Ta ce an gabatar da takardar ne a ranar 22 ga Agusta, 2026, kuma an yarda da ita zuwa Ganowar EMNLP 2026. Maganar takarda kai tsaye ita ce horarwa da kimantawa na wakilan tattaunawa na AI, maimakon tattaunawa na gaba ɗaya na ƙarfafa koyo ko ƙirar harshe. A wasu kalmomi, rikodin yana bayyana takamaiman gine-ginen wakili da nazari, tare da matsayi na samar da ra'ayin tsara takarda.

Tsarin da aka tsara yana amfani da matakan wucin gadi biyu. A mataki mafi girma, wakili yana zaɓar dabarar rubutu bayyananne a matakin furci. A ƙananan matakin, wakilin yana yanke alamar amsa ta alama yayin da yake daidaita wancan tsara akan dabarun da aka zaɓa. Marubutan sun tsara wannan ƙira a matsayin gada tsakanin hanyoyin ƙarfafawa-koyo a baya waɗanda ke aiki kawai akan alamu da hanyoyin da ke aiki akan cikakkiyar furci kawai. Don haka banbance tsakanin zabar dabarar da aka yi niyya don furuci da kuma sanin wannan zaɓi ta hanyar alamomin daidaikun amsa.

Takardar ta ƙirƙira aikin a matsayin tsarin yanke shawara mai mataki biyu. Bisa ga taƙaitaccen bayanin, masu binciken suna amfani da hanyar sadarwa mai zurfi ta Q-cibiyar sadarwa, ko DQN, don babban matakin masu sukar da inganta manufofin kusanci, ko PPO, don ƙananan masu sukar wasan kwaikwayo. Majiyar ta bayyana wannan rarrabuwa a matsayin abin da ya motsa ta ta hanyar ƙididdige ƙididdiga da la'akari da inganci, amma ba ta ba da cikakkun bayanai na asali ko aiwatarwa a cikin kayan da aka kawo ba.

Don magance ƙarancin lada, marubutan sun gabatar da tsarin lada mai girma biyu. Yana haɗa maki gamsuwa na matakin furci tare da ƙwarin gwiwa-matakin alama da hukuncin KL. Ƙididdigar ta ba da rahoton gwaje-gwajen gwaje-gwaje akan tattaunawar yau da kullun da tattaunawa ta goyan bayan motsin rai, inda ToSCA ta fi ƙayyadaddun ƙayyadaddun ƙayyadaddun ƙayyadaddun ƙayyadaddun dabaru da ingancin amsawa. Majiyar ta kuma ce akwai aiwatarwa, kodayake rikodin da aka kawo bai haɗa da hanyar haɗin kai ba.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Ayyukan yana magance ƙalubale na tsakiya a cikin AI na tattaunawa: haɗa manyan manufofin hulɗa tare da kalmomin ɗaya da wakili ke samarwa. Idan an inganta fiye da gwaje-gwajen da aka ruwaito, wannan rabuwa na iya ba da hanyar da aka tsara don horar da wakilai don tattaunawa mai matakai da yawa da kuma sauƙaƙe zaɓin dabarun su don dubawa.

Bambance-bambancen da aka ba da shawarar tsakanin dabara da kalmomi suna nuna matsala mai amfani a cikin tsarin tattaunawa. Amsa na iya zama daidai yayin da ake bin manufar hulɗar da ba daidai ba, ko kuma tana iya zaɓar manufa mai ma'ana amma bayyana shi da kyau. Ta hanyar sanya dabarun aikin tsaka-tsaki na zahiri, ToSCA yana ƙoƙarin raba waɗannan maki biyu na gazawar yayin horo da kimantawa.

Wannan tsarin zai iya zama da amfani ga tsarin da ake tsammanin zai ci gaba da tattaunawa a kan juyi da yawa. Dabarar babban mataki na iya wakiltar manufar hulɗa, yayin da tsararrun matakan token ke aiwatar da zaɓin harshen gida da ake buƙata don bayyana shi. Madogararsa ba ta tabbatar da cewa ToSCA tana aiki cikin dogon tattaunawa ba, amma tsarin tsarin ya dace da ƙoƙarin sanya wakilan tattaunawa da gangan kuma ƙasa da dogaro ga keɓancewar yanke shawara na gaba.

Tsarin lada kuma yana da mahimmanci. Ƙarfafa koyo don tsara harshe na iya samun ra'ayi kawai bayan cikakkiyar amsa, yana sa da wuya a gano ko wane yanke shawara ya taimaka ko cutar da sakamakon. Na'urar granularity dual-granularity na takarda tana ƙoƙarin ba da amsa a duka matakan furci da alamomi. Ƙididdigar ba ta nuna ko wannan yana samar da ingantaccen horo, ƙananan farashi, ko mafi kyawun hali a ƙarƙashin mawuyacin hali ko ƙiyayya.

Sakamakon da aka ruwaito yana da ban ƙarfafa amma yana da iyaka. Suna damuwa da gwaje-gwaje a cikin tattaunawa na yau da kullun da na motsin rai kuma marubutan takarda sun gabatar da su. Tushen da aka kawo ba ya bayar da sakamako na lamba, tazarar amincewa, girman saitin bayanai, ƙa'idar kimanta mutum, ko kwafi mai zaman kanta. Don haka yana goyan bayan bayar da rahoton hanyar da mawallafin da'awar kwatancen, amma ba mafi fa'ida ba cewa ƙarfafawar ilmantarwa gabaɗaya yana inganta AI na tattaunawa gabaɗaya.

Abin kallo na gaba

Sakamakon ya kasance da'awar daga takarda ɗaya kuma yakamata a gwada shi da kansa. Muhimman abubuwan da ba a san su ba sun haɗa da ainihin bayanan bayanai, tushen tushe, matakan kimantawa, girman sakamako, ƙimar ƙididdigewa, aiki a cikin harsuna da yanki, da kuma ko ribar ta ci gaba a cikin tattaunawa ta ainihi ko saitunan aminci.

Batun farko da za a kallo shine sake haifuwa. Majiyar ta ce akwai aiwatarwa, amma rubutun arXiv da aka kawo bai bayyana ma'ajiyar ba ko bayyana lasisinsa, abubuwan dogaro, bayanan horo, ko buƙatun kayan masarufi. Masu bincike masu zaman kansu za su buƙaci waɗannan cikakkun bayanai don tantance ko za a iya sake haifar da ribar da aka ruwaito da kuma ko hanyar tana da amfani a wajen saitin marubutan.

Tsarin kimantawa zai yi mahimmanci. Ƙididdigar sunaye na yau da kullum da tattaunawa-tallafi na motsin rai amma baya gano bayanan bayanai, harsuna, adadin juyi, yawan mahalarta, ko ma'anar "ingantacciyar amsa." Har ila yau, ba a faɗi yadda aka auna ƙayyadaddun dabarun ba ko kuma masu kimantawa sun san wane tsarin ne ya samar da amsa. Waɗancan tsallakewar suna buɗe yuwuwar aikin ya bambanta sosai ta hanyar ɗawainiya, yanki, ko hanyar kimantawa.

Amincewa da aminci sun cancanci bincike na musamman a cikin saitunan goyan bayan motsin rai. Dabarar da ke inganta maki gamsuwa na iya zama ba lallai ba ne ta inganta daidaiton gaskiya, magance rikici, kariya ta sirri, ko haɓaka da ta dace ga taimakon ɗan adam. Madogararsa ba ta yin da'awar aminci kuma ba ta ba da rahoton gwajin buƙatun cutarwa, masu amfani masu rauni, sauye-sauyen rarrabawa, ko gazawa ta hanyar dabarun matakin da ba daidai ba.

Ya kamata ƙarin aiki ya gwada ko ƙayyadadden tsarin dabarun ya inganta sa ido da kuma aiki. Shaidu masu fa'ida zasu haɗa da sokewar DQN, PPO, abubuwan lada, da hukuncin K-L; kwatancen tare da tsarin zamani masu ƙarfi; ma'auni na latency da lissafi; da kuma kimantawa fiye da tsayi, tattaunawa da harsuna da yawa, da ainihin duniya. Har sai an sami irin wannan shaidar, an fi fahimtar ToSCA a matsayin shawarwarin bincike tare da rahotannin nasarorin gwaji, ba nuna ci gaban samarwa ba.

Jagorori masu alaƙa & tambayoyin tambayoyi