Mafunzo ya Utabiri wa Ishara nyingi
Badala ya kutabiri ishara inayofuata tu, mfano huo umefunzwa kutabiri ishara kadhaa za siku zijazo mara moja.
Muhtasari
This sharpens learning signals and unlocks faster inference through self-speculative decoding.
Dive ya kina
Miundo ya lugha sanifu hufunzwa kwa ubashiri wa ishara inayofuata: kutokana na muktadha, tabiri tokeni moja inayofuata. Utabiri wa tokeni nyingi (MTP), ulioangaziwa na karatasi ya 2024 Meta na kupitishwa katika DeepSeek-V3, huongeza vichwa vya matokeo vyepesi ili muundo utabiri kwa wakati mmoja tokeni inayofuata pamoja na tokeni za 2, 3, na 4 mbele kutoka kwa hali sawa iliyofichwa. Hii hulazimisha mtandao kupanga zaidi katika siku zijazo na huimarisha mawimbi ya mafunzo - kila nafasi sasa inachangia masharti mengi ya upotevu. Meta iliripoti faida kubwa hasa kuhusu usimbaji na mawazo ya uzalishaji, huku miundo mikubwa ikinufaika zaidi. Muhimu zaidi, vichwa vya ziada vinaweza kutupwa baada ya mafunzo, kwa hivyo saizi ya mfano wakati wa kupeleka hauhitaji kukua.
Ufahamu wa Kiufundi
MTP inaambatanisha n vichwa vya utabiri huru juu ya shina la kibadilishaji shirikishi; kichwa k hutabiri ishara katika nafasi t+k kutoka kwa uwakilishi katika nafasi t. Hasara ni muhtasari wakati wa mafunzo. Kwa hitimisho, vichwa vya wasaidizi huwezesha utatuzi wa kujifikiria: mfano unapendekeza ishara kadhaa kwa kupita moja, kisha kuzithibitisha, kufikia takriban 3x kizazi cha haraka bila kubadilisha usambazaji wa pato.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Mafunzo ya Utabiri wa Ishara nyingi
MTP inakuwa kiungo chaguo-msingi katika mapishi ya mafunzo ya mipakani kwa sababu inaboresha ubora na kasi ya marejeleo kwa gharama ndogo. Tarajia muunganisho mkali zaidi na usimbaji wa kubahatisha, upeo wa kina wa utabiri, na utumie kama lengo kisaidizi linaloboresha upangaji wa upeo wa macho marefu. Ikiunganishwa na miundo ya hoja, kutabiri hatua nyingi za mbeleni kunaweza kusaidia miundo ya ndani kuiga matokeo kabla ya kujitolea kujibu.
Utekelezaji wa Ulimwengu Halisi
DeepSeek-V3 kwa kutumia lengo la MTP wakati wa kufanya mazoezi ya awali ili kuongeza ufanisi wa data na kuwezesha utatuzi wa kubahatisha.
Meta miundo ya kuzalisha msimbo inayoonyesha faida za usahihi kwenye HumanEval na MBPP kutokana na kutabiri tokeni nyingi
Usimbuaji wa kujikisia: kuandaa tokeni 3-4 kwa kila pasi ya mbele kisha kuthibitisha kwa pato la haraka, la kuhifadhi usambazaji.
Kukamilisha kiotomatiki kwa haraka katika visaidizi vya usimbaji ambapo tokeni nyingi zinazokubalika zinapendekezwa na kuangaliwa kwa hatua moja.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Utiririshaji wa Kukisia na Utabiri wa Ishara Nyingi
Maswali yanayoulizwa mara kwa mara
What is Multi-Token Prediction Training?
Badala ya kutabiri ishara inayofuata tu, mfano huo umefunzwa kutabiri ishara kadhaa za siku zijazo mara moja. Hili huboresha mawimbi ya ujifunzaji na kufungua makisio ya haraka zaidi kupitia usimbuaji unaokisia-kisia.
Utabiri wa ishara nyingi unaongeza nini ikilinganishwa na mafunzo ya kawaida ya ishara zinazofuata?
MTP huongeza vichwa vya ziada vya pato ili mtindo utabiri ishara inayofuata pamoja na ishara kadhaa mbele zaidi kutoka kwa hali moja iliyofichwa.
Ni modeli gani haswa iliyotumia lengo la utabiri wa ishara nyingi katika mafunzo ya mapema?
DeepSeek-V3 ilipitisha lengo la mafunzo la MTP ili kuboresha ufanisi wa data na kuwezesha utatuzi wa kubahatisha.
Kwa nini MTP inasisitiza ishara ya mafunzo?
Kutabiri ishara kadhaa za siku zijazo inamaanisha kila nafasi ya ishara hutoa hasara kadhaa za utabiri, na kutoa ishara zaidi ya kujifunza kwa kila ishara.
Je, vichwa vya ziada vya utabiri vinawezesha faida gani?
Vichwa vya wasaidizi vinaweza kuandaa tokeni nyingi kwa kila pasi ambazo huthibitishwa, na kuongeza kasi ya uzalishaji bila kubadilisha usambazaji wa pato.
Ni nini kinatokea kwa vichwa vya msaidizi baada ya mafunzo ikiwa hauitaji kuongeza kasi?
Vichwa vya ziada ni vya hiari wakati wa kupelekwa; kuzitupilia mbali huweka kielelezo sawa na kielelezo cha kawaida cha ishara inayofuata.